本发明涉及客户分类技术领域，特别是涉及一种基于代价敏感和半监督分类的客户分类方法及装置。
背景技术：
随着大数据时代的来临，企业掌握的客户数据越来越多，同时企业的营销理念也从过去的“以产品为中心”向“以客户为中心”转变。由于传统营销手段具有低效率，高成本等弊端，客户响应率持续下降，企业的资金回收率也随之降低，因此是否具有高效的营销手段并能从海量客户数据中快速挖掘出客户多样化和个性化需求的能力，成为企业制胜的法宝。为了实现这一目的，一些企业开始将数据库营销(databasemarketing)作为强有力的手段来提高自身营销活动的有效性和针对性。不同于传统的直接营销手段，数据库营销是利用客户数据库，通过更有效的获得，保持和发展客户，以提高营销效率的技术。利用客户的多项相关信息来建立目标客户选择模型，如身份信息、消费偏好和历史购买记录等，进而预测哪些客户更有可能会对企业的营销手段做出响应。作为数据库营销中最重要的问题之一，目标客户选择建模用于从潜在客户中识别出企业的目标客户，即对企业营销手段最可能做出响应的客户，从而帮助企业制定营销战略。研究表明，运用目标客户选择建模的企业可有效增加收益，提高客户响应率，同时降低成本，提升客户亲密度。
在目标客户选择领域，不同类别客户的错分代价相差很大，误分一个会响应的少数类客户给企业造成的损失往往要比误分一个不响应的多数类客户的损失大很多。如果把一个不响应的客户误分成响应的客户给企业造成的损失仅仅是很少的邮寄相关宣传资料的营销费用，而如果把一个响应的客户误分成不响应的客户，那么企业就不会对该客户邮寄宣传资料，从而失去该客户因购买了产品或服务而给企业带来的利润。
目标客户选择建模实质上是属于客户分类的范畴，即将客户分为两类：一类是对企业产品的营销宣传活动(如发送邮件或者短信等)做出响应，进而购买产品的客户；另一类是对企业产品的营销宣传活动不响应的客户。目前，常用的目标客户选择模型主要包括人工神经网络(artificialneuralnetworks,ann)、决策树、logistic回归、贝叶斯分类器、遗传算法(geneticalgorithm，ga)、数据分组处理(groupmethodofdatahandling,gmdh)神经元网络和支持向量机(supportvectormachine,svm)等。在现实的目标客户选择建模中，客户数据的类别分布往往是高度不平衡的，即会对企业的营销活动做出响应的客户比不响应的客户少很多。如果直接用这样的数据来训练模型，上述传统的分类模型对属于少数类的响应客户的分类精度要比属于多数类的不响应客户的分类精度低得多，甚至可能会将所有的客户预测为不响应的客户。然而，在目标客户选择建模中，我们最关心的是响应类客户的分类精度，因为这类客户的准确预测能够给企业带来更多的利润。因此，当客户数据类别分布不平衡时，传统的分类模型很难取得令人满意的目标客户选择性能。
为了解决这一问题，目前常用的方法是重抽样技术，如随机向上抽样(over-sampling)和随机向下抽样(under-sampling)，来平衡训练集的类别分布，再训练分类模型。随机向上抽样是将多数类客户(不响应类客户)样本固定，从少数类客户(响应类客户)数据样本中随机有放回地抽取若干样本，直到与多数类客户的样本数相等。随机向下抽样是将少数类客户(响应类客户)数据样本固定，从多数类客户(不响应类客户)中随机无放回地抽取与少数类客户相同数目的样本。如kang等使用随机向下抽样来提高目标客户选择模型性能。上述研究对目标客户选择建模都做出了重要贡献，但通过仔细分析，还存在以下不足：
1)重抽样技术存在缺陷。不管是随机向上抽样，还是随机向下抽样都存在不足之处，前者将导致少数类中重复样本太多，而后者得到的结果就是最终的训练集样本数量往往很少，它们均可能会影响目标客户选择建模的性能。
2)目前，国内外关于目标客户选择的研究大都采用监督式分类建模的研究范式，即仅使用原始含类别标签的训练集来训练分类模型，然后利用训练好的分类模型来预测新的客户样本的类别。事实上，在实际的目标客户选择建模时，企业往往只针对少量客户进行营销宣传活动，同时记录客户对其是否响应，从而将这部分客户赋予响应或不响应的类别标签。而剩下大量没有进行营销宣传的客户，由于无法判断其是否响应，因此无法标记它们的类别。此时，如果仍然采用监督式客户分类建模研究范式，即仅使用少量有类别标签的样本来建模，通常都会由于训练样本个数太少而造成过拟合，反而导致模型性能的下降。实际上，无类别标签的客户数据也可为构建模型提供有用信息。因此，如何有效地使用大量没有类别标签的数据提高模型的学习性能，是目标客户选择建模中亟待解决的问题。
技术实现要素：
本发明的目的在于克服现有技术的不足，提供一种基于代价敏感和半监督分类的客户分类方法及装置，具有更好的目标客户选择性能。
本发明的目的是通过以下技术方案来实现的：基于代价敏感和半监督分类的客户分类方法，包括：
s1.获取有类别标签数据集l、无类别标签数据集u和测试集test；
s2.对有类别标签数据集l和无类别标签数据集u采用随机子空间法训练n个基本分类模型cs；
s3.分别使用所述n个基本分类模型cs对测试集test中的样本进行分类，得到n个中间分类结果r1,r2,...,rn；
s4.对n个中间分类结果r1,r2,...,rn使用多数投票集成得到最终分类结果。
优选的，所述步骤s2包括：
s21.从无类别标签数据集u中选择性标记一部分样本加入到有类别标签数据集l中，并将这部分样品从无类别标签数据集u中剔除；
s22.使用随机子空间法从有类别标签数据集l中抽取一个特征子集，并映射得到一个训练子集，使用代价敏感的svm训练得到一个基本分类模型cs；
s23.重复步骤s21和步骤s22，得到n个基本分类模型cs。
优选的，所述步骤s21包括：
s211.设定阈值k，阈值k表示想从无类别标签数据集u标记的样本占无类别标签数据集u中全部样本的百分比；计算选择性标记样本集q与无类别标签数据集u的样本百分比b＝size(q)/m，size表示用来计算q中样本个数的函数，m为无类别标签数据集u的初始样本个数，选择性标记样本集q初始为空；
s212.判断样本百分比b与样本百分比k的大小，若b≤k，则执行步骤s213，若b＞k，则执行步骤s22；
s213.使用随机子空间法从有类别标签数据集l中抽取三个特征子集，并映射得到三个训练子集，使用代价敏感的svm训练得到三个中间分类模型cs'；
s214.分别使用三个中间分类模型cs'来预测无类别标签数据集u中全部样本的类别标签，并将三个中间分类模型cs'预测一致的样本放置在候选集uj中；若候选集uj为空，则执行步骤s213，否则从候选集uj中根据有类别标签数据集l中初始的正负样本比例选取概率输出值probi1大于标记阈值θ1的正类样本和概率输出值probi1小于标记阈值θ2的负类样本作为选择性标记样本添加到有类别标签数据集l和选择性标记样本集q中，并将该选择性标记样本从无类别标签数据集u中剔除。
优选的，所述基于代价敏感和半监督分类的客户分类方法还包括设置基本分类模型cs的数量n、标记阈值θ1和标记阈值θ2的步骤。
优选的，所述标记阈值θ1的值为1，所述标记阈值θ2的值为-1。
基于代价敏感和半监督分类的客户分类装置，包括：
数据获取模块，用于取有类别标签数据集l、无类别标签数据集u和测试集test；
随机子空间模块，用于对有类别标签数据集l和无类别标签数据集u采用随机子空间法训练n个基本分类模型cs；
分类模块，用于分别使用n个基本分类模型cs对测试集test中的样本进行分类，得到n个中间分类结果r1,r2,...,rn；
投票集成模块，用于对n个中间分类结果r1,r2,...,rn使用多数投票集成得到最终分类结果。
优选的，所述随机子空间模块包括：
样本选择性标记子模块，用于从无类别标签数据集u中选择性标记一部分样本加入到有类别标签数据集l中，并将这部分样品从无类别标签数据集u中剔除；
随机子空间子模块，用于使用随机子空间法从有类别标签数据集l中抽取一个特征子集，并映射得到一个训练子集，使用代价敏感的svm训练得到一个基本分类模型cs。
优选的，所述样本选择性标记子模块的工作过程为：设定阈值k，阈值k表示想从无类别标签数据集u标记的样本占无类别标签数据集u中全部样本的百分比；计算选择性标记样本集q与无类别标签数据集u的样本百分比b＝size(q)/m，size表示用来计算q中样本个数的函数，m为无类别标签数据集u的初始样本个数，选择性标记样本集q初始为空；判断样本百分比b与样本百分比k的大小，若b≤k，则使用随机子空间法从有类别标签数据集l中抽取三个特征子集，并映射得到三个训练子集，使用代价敏感的svm训练得到三个中间分类模型cs'；分别使用三个中间分类模型cs'来预测无类别标签数据集u中全部样本的类别标签，并将三个中间分类模型cs'预测一致的样本放置在候选集uj中，若候选集uj为空，则重复前一步骤，否则从候选集uj中根据有类别标签数据集l中初始的正负样本比例选取概率输出值probi1大于标记阈值θ1的正类样本和概率输出值probi1小于标记阈值θ2的负类样本作为选择性标记样本添加到有类别标签数据集l和选择性标记样本集q中，并将该选择性标记样本从无类别标签数据集u中剔除。
优选的，所述的基于代价敏感和半监督分类的客户分类装置还包括：参数设置模块，用于设置基本分类模型cs的数量n、标记阈值θ1和标记阈值θ2。
优选的，所述标记阈值θ1的值为1，所述标记阈值θ2的值为-1。
本发明的有益效果是：本发明将代价敏感学习(costsensitivelearning，csl)、半监督学习(semi-supervisedlearning，ssl)和多分类器集成中的随机子空间(randomsubspace，rss)相结合，既能够使用代价敏感学习较好地处理类别不平衡的数据，也能够使用半监督学习将无类别标签样本中包含的大量信息加以利用，同时还能利用集成方法随机子空间进一步提高模型的目标客户选择性能，从而具有更好的目标客户选择性能。
附图说明
图1为本发明中基于代价敏感和半监督分类的客户分类方法的流程图；
图2为本发明中基于代价敏感和半监督分类的客户分类装置的示意图；
图3为七种模型在不同比例下的auc值；
图4为u和l之比为1比1时七种模型的命中率；
图5为u和l之比为2比1时七种模型的命中率；
图6为u和l之比为3比1时七种模型的命中率；
图7为u和l之比为4比1时七种模型的命中率；
图8为u和l之比为5比1时七种模型的命中率；
图9为七种模型的洛伦兹曲线；
图10为u和l之比为1比1时七种模型的提升指数；
图11为u和l之比为2比1时七种模型的提升指数；
图12为u和l之比为3比1时七种模型的提升指数；
图13为u和l之比为4比1时七种模型的提升指数；
图14为u和l之比为5比1时七种模型的提升指数。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-14，本发明提供一种基于代价敏感和半监督分类的客户分类方法及装置：
实施例一
如图1所示，基于代价敏感和半监督分类的客户分类方法，包括：
s1.获取有类别标签数据集l、无类别标签数据集u和测试集test，无类别标签数据集u中的初始样本个数为m。
s2.对有类别标签数据集l和无类别标签数据集u采用随机子空间法训练n个基本分类模型cs。
所述步骤s2包括：
s21.从无类别标签数据集u中选择性标记一部分样本加入到有类别标签数据集l中，并将这部分样品从无类别标签数据集u中剔除。
所述步骤s21包括：
s211.设定阈值k，阈值k表示想从无类别标签数据集u标记的样本占无类别标签数据集u中全部样本的百分比；计算选择性标记样本集q与无类别标签数据集u的样本百分比b＝size(q)/m，size表示用来计算q中样本个数的函数，m为无类别标签数据集u的初始样本个数，选择性标记样本集q初始为空。
s212.判断样本百分比b与样本百分比k的大小，若b≤k，则执行步骤s213，若b＞k，则执行步骤s22。
s213.使用随机子空间法从有类别标签数据集l中抽取三个特征子集，并映射得到三个训练子集，使用代价敏感的svm训练得到三个中间分类模型cs'(训练代价敏感的svm使用文献[1]中的工具箱)。
s214.分别使用三个中间分类模型cs'来预测无类别标签数据集u中全部样本的类别标签，并将三个中间分类模型cs'预测一致的样本放置在候选集uj中；若候选集uj为空，则执行步骤s213，否则从候选集uj中根据有类别标签数据集l中的正负样本比例选取概率输出值probi1(这个值可以在运行libsvm工具箱时，增加参数b得到，probi1的计算可参考文献[1]：chih-chungchangandchih-jenlin.libsvm--alibraryforsupportvectormachines.https://www.csie.ntu.edu.tw/～cjlin/libsvm/)大于标记阈值θ1的正类样本和概率输出值probi1小于标记阈值θ2的负类样本作为选择性标记样本添加到有类别标签数据集l和选择性标记样本集q中，并将该选择性标记样本从无类别标签数据集u中剔除。
s22.使用随机子空间法从有类别标签数据集l中抽取一个特征子集，并映射得到一个训练子集，使用代价敏感的svm训练得到一个基本分类模型cs。
s23.重复步骤s21和步骤s22，得到n个基本分类模型cs。
s3.分别使用所述n个基本分类模型cs对测试集test中的样本进行分类，得到n个中间分类结果r1,r2,...,rn；
s4.对n个中间分类结果r1,r2,...,rn使用多数投票集成得到最终分类结果。
所述基于代价敏感和半监督分类的客户分类方法还包括设置基本分类模型cs的数量n、标记阈值θ1和标记阈值θ2的步骤。
优选的，所述标记阈值θ1的值为1，所述标记阈值θ2的值为-1。
实施例二
如图2所示，基于代价敏感和半监督分类的客户分类装置，包括数据获取模块、随机子空间模块、分类模块和投票集成模块。
所述数据获取模块用于取有类别标签数据集l、无类别标签数据集u和测试集test，无类别标签数据集u中的初始样本个数为m。
所述随机子空间模块用于对有类别标签数据集l和无类别标签数据集u采用随机子空间法训练n个基本分类模型cs。
所述随机子空间模块包括样本选择性标记子模块和随机子空间子模块。所述样本选择性标记子模块，用于从无类别标签数据集u中选择性标记一部分样本加入到有类别标签数据集l中，并将这部分样品从无类别标签数据集u中剔除。所述随机子空间子模块，用于使用随机子空间法从有类别标签数据集l中抽取一个特征子集，并映射得到一个训练子集，使用代价敏感的svm训练得到一个基本分类模型cs。
所述样本选择性标记子模块的工作过程为：设定阈值k，阈值k表示想从无类别标签数据集u标记的样本占无类别标签数据集u中全部样本的百分比；计算选择性标记样本集q与无类别标签数据集u的样本百分比b＝size(q)/m，size表示用来计算q中样本个数的函数，m为无类别标签数据集u的初始样本个数，选择性标记样本集q初始为空；判断样本百分比b与样本百分比k的大小，若b≤k，则使用随机子空间法从有类别标签数据集l中抽取三个特征子集，并映射得到三个训练子集，使用代价敏感的svm训练得到三个中间分类模型cs'；分别使用三个中间分类模型cs'来预测无类别标签数据集u中全部样本的类别标签，并将三个中间分类模型cs'预测一致的样本放置在候选集uj中，若候选集uj为空，则重复前一步骤，否则从候选集uj中根据有类别标签数据集l中的正负样本比例选取概率输出值probi1大于标记阈值θ1的正类样本和概率输出值probi1小于标记阈值θ2的负类样本作为选择性标记样本添加到有类别标签数据集l和选择性标记样本集q中，并将该选择性标记样本从无类别标签数据集u中剔除。
所述分类模块用于分别使用n个基本分类模型cs对测试集test中的样本进行分类，得到n个中间分类结果r1,r2,...,rn。
所述投票集成模块用于对n个中间分类结果r1,r2,...,rn使用多数投票集成得到最终分类结果。
所述的基于代价敏感和半监督分类的客户分类装置还包括：参数设置模块，用于设置基本分类模型cs的数量n、标记阈值θ1和标记阈值θ2。
优选的，所述标记阈值θ1的值为1，所述标记阈值θ2的值为-1。
下面对本发明所提出的方法的性能进行验证(以csse模型代表本发明的方法)。验证实验运用2000年的coil预测竞赛(coil2000数据集)中benchmark保险公司推销大篷车保险的真实数据来进行实证分析。该数据集包含9822个样本，每个客户样本包含86个变量，其中1-85个变量是描述客户信息的特征变量，第86个变量是响应变量，表示客户所属的类别标签，该数据集将全部客户划分为会对企业营销活动做出响应的少数类客户(正类)和不会做出响应的多数类客户(负类)，且正负类样本比例为1:7.55，由此可知该数据集属于类别分布不平衡数据集。
为了进行实验分析，从数据集中随机抽取30％的样本作为测试集test，然后将剩余70％的样本按照从1:1、1:2、1:3、1:4到1:5的比例分为初始的有类别标签数据集l、无类别标签数据集u，并且要保证有类别标签数据集l、无类别标签数据集u和测试集test中正负类样本的比例与原始数据集相同。
由于本实验所使用的数据集的维度较高(包含85个属性)，可能存在特征冗余的问题，而特征选择一方面有助于建立更易解释、具有更好泛化能力的目标客户选择模型，另一方面使用降维后的数据也可减少计算时间，从而降低时间成本。本实验采取fisherscore算法在有类别标签数据集l上进行特征选择：首先分别计算每个特征的得分，然后根据特征的得分从高到低进行排序，最后选取排在前面30％的特征来构建目标客户选择模型。
csse模型运用了林智仁教授开发设计的libsvm工具箱，同时为了训练代价敏感的svm，需要在建模阶段调整模型的参数使得模型在运行时发挥出最优分类性能。经过反复实验，对于初始的有类别标签数据集l的最优参数设置为：惩罚系数c＝100，正类样本惩罚系数的加权值w1＝100，负类样本惩罚系数加权值w2＝10，t＝2(核函数类型选择rbf核函数)。在csse模型中，θ1、θ2、n和k是四个重要参数，经过反复实验，当取θ1＝1、θ2＝-1、n＝40和k＝60％时能够取得较好的目标客户选择性能。
为了分析本csse模型的目标客户选择性能，将csse模型的性能与下面六种目标客户选择模型进行了比较：1)ho提出的监督式集成模型(randomsubspace,rss)；2)breiman提出的监督式集成模型bagging；3)王娇等提出的基于rss的单一半监督协同训练模型rasco；4)苏艳等提出的基于动态rss的单一半监督协同训练模型drsco；5)hady和schwenker提出的基于bagging的半监督集成协同训练模型cobag；6)li等出的半监督式集成模型semi-bagging。对于这六种对比模型，我们选择传统的svm作为基本分类算法，且基本分类器个数与csse模型中设置一样，n＝40。说要说明的是，这六种模型都没有考虑类别分布不平衡对模型性能的影响，因此考虑到比较的公平性，本实验采用随机向上抽样来平衡数据集的类别分布，再构建相应的模型。此外，在rasco模型中，有一个重要参数q，表示模型在每次循环中标记的样本个数，而在cobag模型中也有一个重要参数θ，表示该模型在每次循环中标记的样本个数。通过反复实验，并以auc值作为评价标准，我们发现当q＝100，θ＝200时，两个对比模型均可取得最优性能。
最后，每一种方法的分类结果均是取10次实验结果的平均值，所有实验均是在matlabr2010b软件平台上编程实现。
为了对目标客户选择模型的性能进行评估，本文采用四个评价指标：
(1)auc准则。由于现实的目标客户选择数据集的类别分布都是高度不平衡的，正负类样本比例差距较大，此时若选择总体分类精度作为评价指标并不太实用，而roc(receiveroperatingcharacteristic)曲线恰好能够很好地评价面向类别不平衡的分类模型的性能。为了更好的说明roc曲线，我们首先引入目标客户选择混淆矩阵，如表1所示。其中，tp表示正确分类的正类样本个数，fn代表实际为正类预测为负类的样本个数，fp指实际为负类预测为正类的样本个数，tn表示正确分类的负类样本个数。针对两类问题的roc曲线是一个真正率——伪正率图，其中横坐标表示伪正率＝fp/(fp+tn)×100％，纵坐标表示真正率＝tp/(tp+fn)×100％。由于直接比较不同模型的roc曲线比较困难，因此使用auc(areaundertheroccurve)值来评价模型性能。
表1目标客户选择混淆矩阵
(2)命中率。在现实的目标客户选择中，企业最关注的是会对企业营销行为做出响应的客户，因此命中率是一个常用的评价指标。首先使用模型预测得到测试集中所有客户做出响应的概率，然后依据概率将其从大到小进行排序，最后选择前面r％的客户作为目标客户。命中率的计算公式如下：
其中，n表示所有潜在的目标客户数，即测试集中样本个数，nr表示根据模型选择的目标客户数，nr(y＝1)表示选择的目标客户中真正会响应的客户数。
(3)洛伦兹曲线(lorenzcurve)。作为另一个常用于评价目标客户选择模型性能的准则，洛伦兹曲线能够线性直观的展示出各个模型的比较结果。它的横轴表示选出的目标客户占所有客户数的比例r％，纵轴表示选择比例为r％时与之对应的累计命中率。图中的对角线仅表示在不同比例下随机选取的目标客户对应的累计命中率，并不涉及任何模型的使用。当洛伦兹曲线越凸向左上角，即与对角线围成的面积越大，则说明该模型的目标客户选择性能越好。
(4)提升图(liftchart)。提升指数衡量的是与不利用模型相比，当我们使用目标客户选择模型时，对潜在客户的正确预测能力“提升”了多少。本实验所使用的数据集的客户响应率是6％，即在不使用模型时目标客户的命中率是6％，那么当我们选取r％的客户作为目标客户时，提升指数lift＝hitrate/6％。提升图的横轴表示将客户依据预测出的响应概率从大到小排序后抽取的客户比例，纵轴表示的是与之对应的提升指数(lift)。显然，提升指数越大表明模型的目标客户选择性能越好。
模型的auc值比较。图3展示了csse模型与其它六种模型在coil2000上的auc值，其中横坐标表示u和l中的样本比例从1:1变化到5:1。仔细分析图3，我们可以得到以下结论：
(1)csse模型在五种不同比例下均具有最大的auc值，因此，csse模型的整体目标客户选择性能要优于其他六种模型。六种对比模型均采用随机向上抽样的方法来平衡数据集类别分布，但它们的auc值均低于csse模型，这说明与这六种模型相比，csse模型可以更有效地解决目标客户选择数据集中存在的类别分布不平衡问题。auc值通常被用于评价模型在类别分布不平衡数据集上的总体分类性能，csse模型在该评价指标上表现优异，这也说明了和已有的模型相比，csse模型将csl、ssl和rss方法进行融合确实具有更好的整体性能；
(2)在七种模型中，csse模型、drsco模型、cobag模型、rasco模型以及semi-bagging模型都属于半监督分类模型，而rss模型和bagging模型属于监督式分类模型。从图3中可以看出大多数半监督分类模型如csse、drsco和cobag的auc值均大于两种监督式分类模型rss和bagging。然而，也有一些半监督分类模型的目标客户选择性能比较差，如rasco模型和两种监督式分类模型的auc值不相上下，而semi-bagging模型的auc值更是低于两种监督式分类模型的auc值。这表明，在多数情况下从大量无类别标签的数据集中选择性标记一部分样本加入到训练集中，确实能够提高目标客户选择的性能。但是如果模型的选择性标记的机制不够合理，导致大量被错误标记类别的样本加入到训练集中，从而很难提高模型的性能，有时甚至会损害模型的目标客户选择性能；
(3)随着u和l中的样本比例不断增大，半监督分类模型中的csse模型、drsco模型和cobag模型的auc值虽然存在较小波动，但总体上保持较高水平并优于监督式分类模型rss模型和bagging模型，因为后面两种模型的auc值大体上呈现出逐渐减小的趋势。特别地，对于csse模型，当u和l中的比例不断增大时，它的auc值与监督式分类模型的auc值的差距在逐渐变大。这表明，当数据集包含大量无类别标签的样本时，相比于传统的监督式分类模型，csse模型更具优势。
模型的命中率比较。图4-8给出了csse模型和其他六种对比模型的命中率，其中，(a)—(e)分别表示u和l中的样本比例从1:1变化到5:1的结果，同时，在每个子图中，我们还给出了目标客户选择比例(r％)从10％增加到50％时，各个模型的命中率比较。根据图4-8，我们可以得出以下结论：
(1)当u和l中的样本比例从1:1增加到5:1时，csse模型的命中率在各种不同的目标客户选择比例时均大于其他模型，这说明csse模型的目标客户选择性能是优于对比模型的；
(2)在每个子图中，随着目标客户选择比例的增加，各个模型的命中率虽然存在一些波动，但是总体上均表现出逐渐下降的趋势。分析其原因，可能是因为我们是根据每个模型预测得到的测试集中所有客户做出响应的概率从大到小进行排序，最后选择前面r％的客户作为目标客户。因此，目标客户选择比例越小，就越可能选中那些真正的响应客户，命中率自然相对就越高；
(3)大多数半监督式集成模型的命中率要高于2种监督式集成模型，而且随着u和l中的样本比例增大，半监督模型的命中率仍能保持在较高水平，而rss模型和bagging模型的命中率值则呈下降趋势，这说明当数据集包含大量无类别标签的样本时，半监督分类模型具有明显优势。分析其原因，可能是因为监督式模型只使用少量有类别标签的数据集l来建模，而半监督分类模型则能够同时使用l和大量无类别标签数据集u中的样本来建模。
模型的洛伦兹曲线比较。由于篇幅所限，我们仅给出了u和l中的样本的比例为5:1时七种不同分类模型的洛伦兹曲线，如图9所示。从图9中可以看出，当目标客户选择比例为10％、20％和30％时，csse模型的洛伦兹曲线均在其他模型的曲线上方，此时csse模型的累计命中率明显高于其他六种模型。在现实企业的目标客户选择问题中，企业的潜在客户通常很多，但由于营销预算的限制，我们往往只能选择排在前面的很小一部分的客户作为目标客户，从而向他们邮寄宣传资料，即目标客户选择的比例通常比较小。因此，与其它模型相比，csse模型可望在现实企业的目标客户选择中取得更好的性能。
模型的提升图比较分析。图10-14展示了csse模型和其他六种模型的提升指数，其中，(a)—(e)分别表示u和l中的样本比例从1:1变化到5:1的结果。同时，在每个子图中，我们还给出了目标客户选择比例(r％)从10％增加到100％时，各个模型的提升指数的比较。仔细分析图10-14，我们能够得出与模型的命中率比较部分类似的结论：
(1)当u和l中的样本比例从1:1增加到5:1时，csse模型的提升指数在不同的目标客户选择比例时均明显大于其他模型的，这说明csse模型具有最好的目标客户选择性能；
(2)在每个子图中，随着目标客户选择比例的增加，各个模型的提升指数虽然存在一些波动，但是总体上均表现出逐渐下降的趋势；
(3)大多数半监督式集成模型的提升指数要高于2种监督式集成模型，而且随着u和l中的样本比例增大，半监督模型的优势更加明显。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。