专利名称：基于神经网络改进算法的电信客户流失预测方法
技术领域：
本发明属于电信运营商数据挖掘领域，涉及一种基于神经网络改进算法的电信客户(流失)预测方法。
背景技术：
随着电信市场竞争的发展，客户选择电信产品及电信企业的余地越来越大，电信企业之间对客户的争夺也越来越激烈。面对日益激烈的市场竞争环境，电信企业的传统的、被动式服务体系已无法满足客户需要，应对对手挑战。同时，传统的网络、技术等优势难以在电信企业之间拉开差距，无法形成差异化的竞争优势。因此，为了在新的市场形势下能够培育和创造出新的差异化竞争优势，电信企业应以客户为中心，深入的了解客户，引导客户，留住客户。
通过客户离网前的行为特征构建流失预测模型，预测即将流失的客户，对即将流失的客户做挽留；也可以通过对现有CRM系统中，业务人员的客户拜访行为对签单成功率的影响构建预测模型，改善业务人员客户拜访水平；通过以往销售人员的客户拜访费用构建预测模型，预测下阶段费用预算；通过销售漏斗所处的阶段与是否签单的关系，预测市场部门的市场活动所需投入等。
CN02822042.0病人数据挖掘本发明为挖掘高质量结构化的临床信息提供了一种数据挖掘框架。该数据挖掘框架包括数据挖掘器(350)，它根据知识库(330)中包含的领域专用的知识从计算机化的病人记录(CPR)(310)挖掘医疗信息。数据挖掘器(350)包括用于从CPR提取信息的部件，随时间以有原则的方式组合所有可用证据的部件(354)，以及从这个组合过程做出推理的部件(356)。所挖掘的医疗信息被存储在结构化的CPR(380)中，该CPR可以是一个数据仓库。上述根据知识库数据挖掘器不宜用于客户离网前的行为特征构建立的流失预测模型。
神经网络BP网络模型，是常用的预测模型，如图BP网络的工作原理是将训练模式输入至输入层，并传至后面的隐含层，通过连接权向后传递，直至得到网络的输出。网络中每个神经元通过求输入权值和与经非线性兴奋函数传递结果来工作。
得到输出层的输出后，将其与相应训练模式的目标值进行比较，按预先定义的网络误差函数求出误差值。如误差小于容许值，则训练完成，否则将误差按梯度下降法调整网络连接权。
现有的直接使用BP算法直观简单，容易实现，但是在实际应用中存在以下问题1.收敛速度慢的问题，限制了该方法的进一步运用。
2.局部极小点的问题，导致训练误差无法下降，无法用于预测电信客户(流失)。
发明内容
本发明的目的是针对上面的两个缺点，提出一种收敛速度快且经训练后误差小的方法，用于预测电信客户(流失)。
本发明的技术解决方案是利用改进后的方法建立模型，误差传播因子采用(期望输出-实际输出)×f(上次训练批量误差)，其中f(u)=11+exp(-λu)]]>权值调整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1),]]>式中，S(t)和S(t-1)是当前时刻和前一时刻 的值。对数据进行归一化处理，归一化的公式为x′=0.8(x-xminxmax-xmin)+0.1,]]>上述模型训练模型，训练后误差小，再使用模型，进行预测。
一种基于神经网络改进算法的电信客户预测方法，利用改进后的方法建立模型，即，结合神经网络速率常数模型的对模型的建模，首先采用BP神经网络方法建立客户流失模型，接着采用误差传播因子(期望输出-实际输出)×f(上次训练批量误差)，其中f(u)=11+e-λu]]>(λ为常量)；权值调整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1),]]>式中，S(t)和S(t-1)是当前时刻和前一时刻误差对权值的偏导，即 的值。对数据进行归一化处理，归一化的公式为x′=0.8(x-xminxmax-xmin)+0.1]]>(x为输入参数，xmin为最小输入参数，xmax为最大输入参数，x′为归一化以后的输入参数)，用上述模型训练模型；然后对上述模型添加修正系数，通过工业反应器的实际运行和分析数据，采用优化算法求得修正系数值，最终获得模型。
本发明采用神经网络建立模型，并选取神经元之间的连接权值作为模型的自变量。
采用归一化后的客户属性值作为模型的输入，归一化公式为x′=0.8(x-xminxmax-xmin)+0.1]]>(x为输入参数，xmin为最小输入参数，xmax为最大输入参数，x′为归一化以后的输入参数)。本发明采用二阶的方法调整权值Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)]]>添加修正系数。在权值调整中涉及到的误差传播因子采用(期望输出-实际输出)×f(上次训练批量误差)
本发明的效果是
说明实验1为传统BP算法实验2为采用新的误差传播因子的实验实验3为采用新的误差传播因子，和新的权值调整算法的实验论证按照BP算法梯度下降法的特点，BP算法中权值的修正量与误差对权值的偏微分成正比，即Δw3[i][j]∞∂E∂w3[i][j]]]>权值修正量越大，收敛速度越快，所以考察∂E∂w3[i][j]=∂E∂ϵ·∂ϵ∂y[j]·∂y[j]∂yo[j]·∂yo[j]∂w3[i][j]]]>∂E∂w3[i][j]=-ϵf′(yo[j])v[i]=ϵ·y[j]·(1-y[j])·v[i]]]>可见，权值修正量Δw3[i][j]和ε·y[j]·(1-y[j])·v[i]成正比。ε·y[j]·(1-y[j])还会以误差传递因子的形式逐层反向传播到输入层。显然，当ε·y[j]·(1-y[j])越大，则权值修正越大，则收敛速度越快。采用BP神经网络模型中，输入层的节点数皆为21，为客户流失的相关属性，如客户类型，在网年限，停机次数，平均话费，...等。隐含层节点数为l(l＝2～20)，输出层节点数皆为1。
分析1.一般来说，希望学习速率与系统的输出误差相关，在误差较大的早期学习过程中，学习算法应采用比较大的学习速率以加快训练的收敛，而在误差较小的后期学习过程中，算法最好采用比较小的学习速率以避免网络的不稳定。但是y[j]·(1-y[j])却不随误差的变化而改变，故不能很好的满足这一要求。
2.考察y[j]·(1-y[j]函数，y的取值是(0，1)，当y为0.5的时候，函数取得最大值0.25，也就是说当训练样本集中的输出值接近0.5的时候，权值调整步长最大，收敛的速度相对比较快。但是实际上大部分样本数据的结果都是靠近两头，即0和1，导致收敛速度较慢。
3.在ε·y[j]·(1-y[j])中，只是参考了当前误差，没有参考上次训练的样本批量误差。可以考虑将上次批量样本误差也作为参数结论综合上面的三点因素，于是选择上次批量样本误差E作为自变量，用f(E)形式的函数来代替f′(yo[j]作为误差传递因子，另外考察f(E)这个函数，可以知道E＞0且f(E)的值域为(0.5，1)，单调递增，即当上次训练误差越大，则f(E)越大，间接地权值调整量越大。另外，这个函数没有上面的第2点的问题，误差传播因子跟样本结果是否趋0.5无关。
图1是一般神经网络结构示意2本发明所采用的神经网络结构示意图具体实施方式
图2为输入x数量N0，输入层节点数N1，隐层节点数N2，输出层节点数N3输入为x[N0]，输入层输出为μ[N1]，隐层输出为v[N2]，输出层输出为y[N3]，期望输出为d[N3]。
各个节点的输入为x0[N0]，uo[N1]，vo[N2]，yo[N3]层之间的权值为w1[N0][N1]，w2[N1][N2]，w3[N2][N3]具体实施方式
第一步利用改进后的方法建立模型，第二步数据准备，由于神经网络模型的需要，对数据进行归一化处理，归一化的公式为x′=0.8(x-xminxmax-xmin)+0.1]]>第三步训练模型通过231次训练，模型的训练误差为0.000934405已经能满足误差精度要求。
第四步使用模型，进行预测。第五步结果分析(见下表)
预测成功率＝(未流失预测成功数+流失预测成功数)/客户总数＝(2109+179)/2823
＝81％流失客户预测覆盖率＝流失客户数/总客户数＝698/2823＝24.7％表
权利要求
1.基于神经网络改进算法的电信客户预测方法，其特征是首先采用BP神经网络方法建立客户流失模型，接着采用误差传播因子(期望输出-实际输出)×f(上次训练批量误差)，其中f(u)=11+e-λu]]>λ为常量，权值调整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)']]>式中，S(t)和S(t-1)是当前时刻和前一时刻误差对权值的偏导，即 的值；对数据进行归一化处理，归一化的公式为x′=0.8(x-xminxmax-xmin)+0.1]]>x为输入参数，xmin为最小输入参数，xmax为最大输入参数，x′为归一化以后的输入参数，用上述模型训练模型；然后对上述模型添加修正系数，通过工业反应器的实际运行和分析数据，采用优化算法求得修正系数值，最终获得模型。
2.由权利要求1所述的基于神经网络改进算法的电信客户预测方法，其特征是采用神经网络建立模型，并选取神经元之间的连接权值作为模型的自变量。
3.由权利要求1所述的基于神经网络改进算法的电信客户预测方法，其特征是采用归一化后的客户属性值作为模型的输入，归一化公式为x′=0.8(x-xminxmax-xmin)+0.1]]>x为输入参数，xmin为最小输入参数，xmax为最大输入参数，x′为归一化以后的输入参数。
4.由权利要求1所述的基于神经网络改进算法的电信客户预测方法，其特征是采用二阶的方法调整权值Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)]]>添加修正系数。
5.由权利要求1所述的基于神经网络改进算法的电信客户预测方法，其特征是在权值调整中涉及到的误差传播因子采用(期望输出-实际输出)×f(上次训练批量误差)。
6.由权利要求1所述的方法，其特征是采用BP神经网络模型中，输入层的节点数皆为21，为客户流失的相关属性，包括客户类型，在网年限，停机次数，平均话费；隐含层节点数为l(l＝2～20)，输出层节点数皆为1。
全文摘要
基于神经网络改进算法的电信客户预测方法，首先采用BP神经网络方法建立客户流失模型，接着采用误差传播因子对数据进行归一化处理，归一化的公式为
文档编号H04L12/56GK1897573SQ200610085768
公开日2007年1月17日 申请日期2006年6月30日 优先权日2006年6月30日
发明者黄晓颖, 薛庆童, 余志刚, 庄学阳, 李岩 申请人:南京联创科技股份有限公司