客户流失预测方法、装置、设备及计算机可读存储介质与流程
本发明实施例涉及机器学习技术领域，特别是涉及一种客户流失预测方法、装置、设备及计算机可读存储介质。
背景技术：
客户流失为客户放弃继续使用企业提供的某项服务的一种现象，比如电信行业的手机用户离网现象、互联网付费订阅服务的会员不再续订的现象。随着市场商业竞争的日益激烈，客户流失现象也越来越容易发生。
客户的流失会给公司利润带来很大的影响，同时获取新客户的成本也远高于保留现有客户。所以，为了追求持续发展，公司必须做好保留现有客户的工作。客户流失预测可以帮助公司及时的识别出潜在的流失客户以便对其实施对应的维挽操作。
客户流失预测的核心问题就是如何利用历史数据准确预测客户未来的流失情况。由于预测客户的流失并不需要实时进行，预测的结果只需要定期提供给公司的客户关系管理人员进行策略的制定，所以客户流失预测系统不需要具备像推荐系统那般的实时性以及高性能要求。
目前客户流失预测方法一般是通过对客户的大量历史数据进行分析，人工提取高质量的业务特征，然后选择合适的分类器算法进行预测，获得最终的客户流失概率。
基于人工特征配合经典分类器的传统客户流失预测方法，人工提取特征需要耗费大量的人力，同时不具备通用性，换个业务场景可能提取特征的方法或者特征的效果就失效了，这就导致最终客户流失预测的准确度依赖于人工特征的好坏，而且也不具备跨业务预测的通用性。
技术实现要素：
本公开实施例提供了一种客户流失预测方法、装置、设备及计算机可读存储介质，解决了相关技术依靠人工提取特征存在的弊端，提升了客户流失预测准确率，通用性好。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种客户流失预测方法，包括：
按照预设时间粒度对待预测项目客户信息的历史日志数据进行处理，得到时序特征数据；
将所述时序特征数据输入至预先构建的树模型中，得到树模型特征；
将所述时序特征数据和所述树模型特征输入至预先构建的客户流失预测模型中，得到所述待预测项目的每个客户流失概率；
其中，所述客户流失预测模型为由长短期记忆网络和卷积神经网络模型构成、且包含跨层连接的混合模型。
可选的，所述客户流失预测模型从前到后依次包括输入层、第一lstm层、第二lstm层、第一卷积层、第二卷积层、第三卷积层、池化层、拼接层、第一全连接层、第二全连接层以及输出层；
其中，所述时序特征数据通过输入层输入至所述第一lstm层，所述第一连接层和所述树模型特征作为所述第二全连接层的输入；所述第一lstm层和所述第二lstm层的输出分别输入至所述第一卷积层、所示第二卷积层、所述第三卷积层中。
可选的，所述得到所述待预测项目的每个客户流失概率之后，还包括：
按照概率值从大到小对所述待预测项目的客户进行排序，并输出前n个客户信息，以作为高概率流失客户。
可选的，所述客户流失预测模型包括多个分支结构，所述分支结构的个数与所述时序特征数据的特征子集个数相同，所述将所述时序特征数据和所述树模型特征输入至预先构建的客户流失预测模型中为：
将所述时序特征数据按照不同时间粒度分为k个特征子集；
将k个特征子集分别输入到所述模型客户流失预测模型相应的分支结构中。
可选的，所述树模型为基于boosting的算法，利用历史日志数据的时序特征数据训练xgboost模型结构所得。
本发明实施例另一方面提供了一种客户流失预测装置，包括：
时序特征数据提取模块，用于按照预设时间粒度对待预测项目客户信息的历史日志数据进行处理，得到时序特征数据；
树模型特征获取模块，用于将所述时序特征数据输入至预先构建的树模型中，得到树模型特征；
客户流失预测模块，用于将所述时序特征数据和所述树模型特征输入至预先构建的客户流失预测模型中，得到所述待预测项目的每个客户流失概率；所述客户流失预测模型为由长短期记忆网络和卷积神经网络模型构成、且包含跨层连接的混合模型。
可选的，还包括排序模块，用于按照概率值从大到小对所述待预测项目的客户进行排序，并输出前n个客户信息，以作为高概率流失客户。
可选的，所述客户流失预测模块为将所述时序特征数据按照不同时间粒度分为k个特征子集；将k个特征子集分别输入到所述模型客户流失预测模型相应的分支结构中的模块，所述客户流失预测模型包括多个分支结构，所述分支结构的个数与所述时序特征数据的特征子集个数相同。
本发明实施例还提供了一种客户流失预测设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述客户流失预测方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有客户流失预测程序，所述客户流失预测程序被处理器执行时实现如前任一项所述客户流失预测方法的步骤。
本申请提供的技术方案的优点在于，在基础时序特征上得到树模型特征，将树模型特征和基础时序特征拼接得到最终特征，充分利用时序特征，不仅可从特征层面提升客户流失的预测效果，结合树特征还适用于各种业务，具有很好的通用性；最后将最终特征输入混合模型进行训练，可以充分挖掘时序特征中的隐藏序列信息以及将时序特征和树模型特征进行高阶组合，从模型层面提高预测效果。不仅解决了相关技术依靠人工提取特征存在的弊端，还有效地提升了客户流失预测准确率和通用性能。
此外，本发明实施例还针对客户流失预测方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种客户流失预测方法的流程示意图；
图2为本发明实施例提供的一种树模型特征示意图；
图3为本发明实施例提供的一种lstm基本单元结构示意图；
图4为本发明实施例提供的一种客户流失预测模型的结构示意图；
图5为本发明实施例提供的客户流失预测装置的一种具体实施方式结构图；
图6为本发明实施例提供的客户流失预测装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
目前针对客户流失预测的常规做法就是将其看作一个二分类的任务，利用数据挖掘和机器学习技术，预测客户未来流失的概率。
常用的机器学习模型有lr(logisticregression，逻辑回归)、rf(randomforests，随机森林)、gbdt(gradientboostingdecisiontree，梯度提升树)、svm(supportvectormachine，支持向量机)、dnn(deepneuralnetworks，深度神经网络)以及一些集成学习的方法bagging等。
lr是客户流失预测常用的机器学习算法，具有理解起来简单，易于并行化和工程化等优点。虽然逻辑回归简单，复杂度相对低，能够处理大量的样本，但它有很明显的缺陷，其属于线性模型，表征能力比较差，特征工程的质量对模型的效果影响巨大，无法学习特征间的非线性关系。该模型常常需要配合交叉特征使用。rf是另外一个客户流失预测常用的算法，有多棵决策树构成，具有模型效果好、易于并行化、可解释性强以及应对高维数据的处理能力。但其属于传统机器学习模型，依然得依靠特征工程来获得最好的模型效果。此外，随机森林的模型容量较小，在面对大数据量的情况下无法很好的拟合数据，会出现欠拟合的情况。随着深度学习技术的快速发展，dnn在工业界被使用地越来越多，其优点就是拟合能力强，在样本量足够的情况下会取得较好的效果。但其结构相对于其他深度学习模型来说过于简单，无法有效自动学习高阶复杂特征。
但是，人工提取特征不仅需要耗费大量的人力，不具备通用性。而且不关注时序特征。本申请的发明人经过研究发现，时序信息往往可以很好刻画客户在一段时间内的行为趋势并反馈到未来的客户流失情况，但是上述的这些主流模型均无法处理时序数据，建模过程中会丢失数据中隐藏的时序信息。所以现有的客户流失预测方法存在过度依赖特征工程以及无法充分利用数据的缺点。
鉴于此，本申请利用树模型特征和基础时序特征作为lstm和cnn的混合模型的输入，该混合模型输出的即为最有可能流失的前n个客户。一方面可以从特征层面提升预测效果，另一方面这种方法适用于各种业务，具有很好的通用性；利用混合模型可以充分挖掘时序特征中的隐藏序列信息以及将时序特征和树模型特征进行高阶组合，从模型层面提高预测效果。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种客户流失预测方法的流程示意图，本发明实施例可包括以下内容：
s101：按照预设时间粒度对待预测项目客户信息的历史日志数据进行处理，得到时序特征数据。
待预测项目为预测客户流失概率的事项，例如某在线音乐平台的充值会员、视频网站的充值会员、理发店的vip会员卡客户等等。待预测项目的客户信息的历史日志数据为指在某段时间内(例如当前时间为终点的2年内)待预测项目要预测的客户类型的所有数据信息，例如可包括充值时间、充值金额、使用待测项目服务的时间和时长等等。
待预测项目客户信息的历史日志数据可均存放于数据池内，一般来说，日志数据中的每条记录都会带有时间戳，基础特征生成主要是从客户历史日志数据中按照具体的时间粒度进行数据处理来得到基础时序特征。以在线视频网站(如腾讯视频、爱奇艺等)的付费会员流失预测场景为例，系统日志会自动记录每位会员每天观看视频的时长、每月的付费充值金额等，在基础时序特征生成的步骤中，可直接选取最近一年的历史数据并根据不同客户按照时间先后顺序进行排序，可以得到过去一年每个月的付费充值金额时序特征，同理可选取过去一个月的历史数据排序便可以得到过去一个月每天的观看视频时长时序特征。通常来说历史日志中每个时间戳数据中拥有多少个字段，就可以生成多少种时序特征，这样在不同业务中便具有一定的通用性。
对历史数据按照具体的时间粒度进行数据处理来得到基础时序特征的过程可参阅任何一种相关技术记载的实现过程，本申请对此不做任何限定。
s102：将时序特征数据输入至预先构建的树模型中，得到树模型特征。
由于基础时序特征是通过比较简单的方式获得的，其表征能力不会太强，所以树模型特征便可当作是基础时序特征的补充，达到增加整个特征集表征能力的目的。将s101得到的时序特征输入至训练好的树模型中，便可得到树模型特征。可采用任何一种树模型算法来训练树模型，训练树模型的训练样本数据可采用待预测项目的客户的历史日志数据在不同时间粒度下的时序特征，这均不影响本申请的实现。
s103：将时序特征数据和树模型特征输入至预先构建的客户流失预测模型中，得到待预测项目的每个客户流失概率。
客户流失预测模型可为由长短期记忆网络(lstm，longshort-termmemory)和卷积神经网络(cnn，convolutionalneuralnetworks，)模型构成、且包含跨层连接的混合模型。
lstm为循环神经网络的一种，较好的缓解了循环神经网络存在的梯度弥散或者梯度爆炸导致模型无法正常更新的问题，在语音识别、自然语言处理、时间序列预测等领域应用很广。lstm基本单元由细胞状态、输入门、遗忘门以及输出门组成，其中细胞状态是lstm基本单元关键组成部分，可以保证信息的有效流通，具体结构如图3所示。
其中，xt是当前时刻的输入，ht-1是上一时刻隐藏状态的输出，ct-1是上一时刻细胞状态的输出，ht是当前时刻隐藏状态的输出，ct是当前时刻细胞状态的输出，ft是遗忘门，控制哪些信息被丢弃，it是输入门，控制哪些信息对细胞状态的更新，ot是输出门，σ是sigmoid激活函数，各部分的更新公式如下：
ft＝σ(wfx·xt+wfh·ht-1+bf)；
it＝σ(wix·xt+wih·ht-1+bi)；
ot＝σ(wox·xt+woh·ht-1+bo)；
ht＝ot·tanh(ct)。
其中，wfx、wix、wcx、wox分别是遗忘门、输入门、细胞状态、输出门对输入x的权重，wfh、wih、wch、woh分别是遗忘门、输入门、细胞状态、输出门对隐藏层h的权重，b*表示各部分的偏置项。
cnn在图像分类等计算机视觉领域被研究多年，已经获得了超过人类的效果。cnn包括两个关键的结构：卷积层和池化层。经典的卷积网络一般由卷积层和池化层交替连接，最后输入到全连接层进行分类输出。卷积层的主要作用是特征提取，每个卷积层通过多个卷积核对该层输入的特征图进行卷积操作，输出新的特征图。用
其中，f是激活函数，
池化层的主要作用是对卷积层输出的特征图进行采样，保持卷积层输出的特征图个数不变，通过减少特征图的尺寸来减少模型参数量，同时保留卷积层输出中的重要特征。常用的池化操作有平均池化和最大池化。
在本发明实施例提供的技术方案中，在基础时序特征上得到树模型特征，将树模型特征和基础时序特征拼接得到最终特征，充分利用时序特征，不仅可从特征层面提升客户流失的预测效果，结合树特征还适用于各种业务，具有很好的通用性；最后将最终特征输入混合模型进行训练，可以充分挖掘时序特征中的隐藏序列信息以及将时序特征和树模型特征进行高阶组合，从模型层面提高预测效果。不仅解决了相关技术依靠人工提取特征存在的弊端，还有效地提升了客户流失预测准确率和通用性能。
一种具体的实施方式中，可使用xgboost(extremegradientboosting)模型来构造树模型特征。xgboost是大规模并行提升算法的工具，属于集成学习(ensemblelearning)中boosting的算法，其可以使用决策树或者线性分类器两种基学习器。当选择决策树作为基学习器时，该模型由多棵决策树组成，决策树的类型为分类回归树，每棵决策树在前一棵决策树的基础上串行训练，模型的输出为所有决策树输出的累加和。xgboost既可以用来处理分类任务，也可以用来处理回归任务。xgboost的串行训练思想以及决策树的使用使其具有发现多种有区分性的特征以及特征组合的天然优势。此外，xgboost对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数，并且在代价函数里加入了正则项，用于控制模型的复杂度。支持列抽样，支持特征粒度上的并行运算。
树模型可为基于boosting的算法，利用历史日志数据的时序特征数据训练xgboost模型结构所得，训练好的树模型可参阅图2所示。在该图中，xgboost只迭代了两次，所以包含了两棵决策树。s101得到的时序特征数据为x，也即输入为x，x在第一棵树种落入节点3，在第二棵树中落入节点2，将这两个节点编号3和2作为新的特征，经过one-hot编码之后得到[0,0,1,0,0,1]，这个便是树模型特征。
将树模型特征和时序特征数据x直接拼接，便可得到了最终特征。
在另一种具体的实施方式中，客户流失预测模型结构可如图4所示，该模型按照数据流向从前到后依次包括输入层、第一lstm层、第二lstm层、第一卷积层、第二卷积层、第三卷积层、池化层、拼接层、第一全连接层、第二全连接层以及输出层。其中，时序特征数据通过输入层输入至第一lstm层，第一连接层和树模型特征作为第二全连接层的输入；第一lstm层和第二lstm层的输出分别输入至第一卷积层、所示第二卷积层、第三卷积层中。
客户流失预测模型包括多个分支结构，分支结构的个数与时序特征数据的特征子集个数相同，将时序特征数据和树模型特征输入至预先构建的客户流失预测模型中为：
将时序特征数据按照不同时间粒度分为k个特征子集；
将k个特征子集分别输入到模型客户流失预测模型相应的分支结构中。
在图4中，混合模型有k+1个输入，其1个是树模型特征，其余为时序特征数据。将基础时序特征数据按照不同时间粒度分为k个特征子集分别输入到模型不同的分支中，每个分支的结构和参数完全相同。以第一个分支为例，时序特征会输入到两层lstm层，然后再输入到三层卷积层，同时lstm层和卷积层之间具有跨层连接，即每层lstm层的输出会分别输入到后面的每层卷积层中，这样可以让模型充分学习时序特征中的隐藏序列信息以及让模型的训练变得更加容易。拼接层将所有分支的输出进行拼接，输入到一层全连接层进行特征组合，然后将该全连接层的输出与树模型特征再次拼接输入到一层新的全连接层进行最终分类。
为了便于用户更加直观的了解到待预测项目的客户流失情况，对采用客户流失预测模型输出的概率结果进行排序，例如可按照概率值从大到小对待预测项目的客户进行排序，并输出前n个客户信息，以作为高概率流失客户。也就是输出前top-n个客户，表示这n个客户具有高流失倾向，需要实施相应的维挽操作，n值可以根据实际情况提前设置。
为了验证本申请提供的技术方案具有很好的预测效果和通用性，本申请还提供了验证性实施例，在该实施例中，对历史数据按照具体的时间粒度进行数据处理来得到基础时序特征，在基础时序特征上训练xgboost模型并生成树模型特征，将树模型特征和基础时序特征拼接得到最终特征，最后将最终特征输入混合模型进行训练。其中混合模型是使用了两层lstm层和三层卷积层以及两层全连接层的神经网络，同时在lstm层和卷积层之间具有跨层连接。最终混合模型会输出每个客户流失概率，系统会根据概率值排序并输出最有可能流失的前n个客户。
通过在某在线音乐平台客户流失预测任务的连续两年的历史数据上抽取两个月数据进行模型训练，以利用随机森林进行客户流失预测作为传统做法进行对比，采用top10000的precision、recall以及auc和pr-auc作为评价指标，在各项指标上，本申请都有明显改善，具体结果如下表1所示：
表1示意性例子的评价指标值
由上可知，本申请提出的利用xgboost模型生成树模型特征的方法，这样一方面可以从特征层面提升预测效果，另一方面这种方法适用于各种业务，具有很好的通用性。同时，提出基于lstm和cnn的混合模型，可以充分挖掘时序特征中的隐藏序列信息以及将时序特征和树模型特征进行高阶组合，从模型层面提高预测效果。
本发明实施例还针对客户流失预测方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的客户流失预测装置进行介绍，下文描述的客户流失预测装置与上文描述的客户流失预测方法可相互对应参照。
参见图5，图5为本发明实施例提供的客户流失预测装置在一种具体实施方式下的结构图，该装置可包括：
时序特征数据提取模块501，用于按照预设时间粒度对待预测项目客户信息的历史日志数据进行处理，得到时序特征数据。
树模型特征获取模块502，用于将时序特征数据输入至预先构建的树模型中，得到树模型特征。
客户流失预测模块503，用于将时序特征数据和树模型特征输入至预先构建的客户流失预测模型中，得到待预测项目的每个客户流失概率；客户流失预测模型为由长短期记忆网络和卷积神经网络模型构成、且包含跨层连接的混合模型。
可选的，在本实施例的一些实施方式中，请参阅图6所述装置例如还可以包括排序模块504，用于按照概率值从大到小对待预测项目的客户进行排序，并输出前n个客户信息，以作为高概率流失客户。
可选的，在本实施例的另一些实施方式中，所述客户流失预测模块503还可为将时序特征数据按照不同时间粒度分为k个特征子集；将k个特征子集分别输入到模型客户流失预测模型相应的分支结构中的模块，客户流失预测模型包括多个分支结构，分支结构的个数与时序特征数据的特征子集个数相同。
本发明实施例所述客户流失预测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅解决了相关技术依靠人工提取特征存在的弊端，还有效地提升了客户流失预测准确率和通用性能。
本发明实施例还提供了一种客户流失预测设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述客户流失预测方法的步骤。
本发明实施例所述客户流失预测设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅解决了相关技术依靠人工提取特征存在的弊端，还有效地提升了客户流失预测准确率和通用性能。
本发明实施例还提供了一种计算机可读存储介质，存储有客户流失预测程序，所述客户流失预测程序被处理器执行时如上任意一实施例所述客户流失预测方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅解决了相关技术依靠人工提取特征存在的弊端，还有效地提升了客户流失预测准确率和通用性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种客户流失预测方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！