一种分群处理方法及装置与流程

1.本发明涉及数据处理领域，具体而言，涉及一种分群处理方法及装置。


背景技术：

2.聚类算法可以实现对客户进行分群的目的，但由于其为无监督算法，采取此算法获得的客户分群一是容易缺乏解释性，难以描述每个客群的特征，二是无法满足分群后，对不同客群建模提升整体模型精度的需求，极有可能造成无监督聚类得到的分群，分群建模后反而使整体模型效果下降。
3.决策树算法是一种有监督学习算法，得到的分群直观可解释，但采用此算法需要预先获得一批带有分群标签的样本，而在探索分群建模这一问题上，建模人员并没有“准确”的分群标签样本，无法直接使用此算法解决目标问题。
4.在样本没有已知分群标记的情况下，通常会使用无监督算法将数据集分成一个个簇(可理解为一个个小组)，从而实现客户的分群，但无监督聚类的算法也会带来上述问题，无法根本性满足目标需求。
5.针对相关技术中在样本没有已知分群标记的情况下，使用无监督算法进行分群无法根本性满足目标需求的问题，尚未提出解决方案。


技术实现要素：

6.本发明实施例提供了一种分群处理方法及装置，以至少解决相关技术中在样本没有已知分群标记的情况下，使用无监督算法进行分群无法根本性满足目标需求的问题。
7.根据本发明的一个实施例，提供了一种分群处理方法，包括：
8.获取训练样本的分群特征；
9.根据所述分群特征的分群节点对所述训练样本进行分群建模；
10.根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
11.可选地，根据所述分群特征的分群节点对所述训练样本进行分群建模包括：
12.根据所述训练样本或分群的每个分群特征的每个分群节点对所述训练样本进行分群，得到多组分群，其中，每组分群包括两个分群；
13.分别对每组分群进行建模，得到每组分群对应的多组分群模型，其中，每组分群模型包括两个分群模型。
14.可选地，根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理包括：
15.将每组分群模型进行融合，得到多个融合模型；
16.从所述多个融合模型中选取最优融合模型；
17.根据所述最优融合模型与所述全样本基准模型进行分群处理。
18.可选地，从所述多个融合模型中选取最优融合模型包括：
19.分别确定所述多个融合模型的预测效果值；
20.从每个分群特征对应的多个融合模型中选取每个分群特征对应的预测效果值最大的目标融合模型；
21.从所有分群特征对应的多个目标融合模型中选取所述预测效果值最大的所述最优融合模型。
22.可选地，所述方法还包括：
23.将所述最优融合模型对应的分群节点确定为目标分群节点；
24.在分群树上为对应的分群设置包括所述目标分群节点的分群条件。
25.可选地，根据所述最优融合模型与所述全样本基准模型进行分群处理包括：
26.将所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标进行对比；
27.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值大于第一预设阈值，判断所述分群树的当前深度是否大于第二预设阈值；
28.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值小于或等于所述第一预设阈值，删除本轮确定的目标分群节点，停止分群处理，其中，所述目标分群节点为所述最优融合模型对应的分群节点；
29.在分群树的当前深度大于第二预设阈值的情况下，停止分群处理；在所述分群树的当前深度小于或等于所述第二预设阈值的情况下，继续分群建模，直到所述分群树的当前深度大于所述第二预设阈值，停止分群处理。
30.可选地，在获取训练样本的分群特征之前，所述方法还包括：
31.根据预设比例或者样本时间将所述训练样本划分为训练集与验证集，其中，所述训练集用于建立所述分群模型，所述验证集用于验证所述分群模型；
32.基于特征的稳定性确定所述训练样本的分群特征。
33.可选地，在获取训练样本的分群特征之前，所述方法还包括：
34.对于无序类分群特征，将所述无序分群特征转换为哑变量形式的分群特征，根据预设模型要求设置转换后的所述分群特征的分群节点；
35.对于数值类分群特征，对数值类分群特征的缺失值进行预处理，根据预设模型要求设置处理后的所述分群特征的分群节点。
36.根据本发明的另一个实施例，还提供了一种分群处理装置，包括：
37.获取模块，用于获取训练样本的分群特征；
38.建模模块，用于根据所述分群特征的分群节点对所述训练样本进行分群建模；
39.分群处理模块，用于根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
40.可选地，所述建模模块包括：
41.分群子模块，用于根据所述训练样本或分群的每个分群特征的每个分群节点对所述训练样本进行分群，得到多组分群，其中，每组分群包括两个分群；
42.建模子模块，用于分别对每组分群进行建模，得到每组分群对应的多组分群模型，其中，每组分群模型包括两个分群模型。
43.可选地，所述分群处理模块包括：
44.融合子模块，用于将每组分群模型进行融合，得到多个融合模型；
45.选取子模块，用于从所述多个融合模型中选取最优融合模型；
46.分群处理子模块，用于根据所述最优融合模型与所述全样本基准模型进行分群处理。
47.可选地，所述选取子模块，还用于分别确定所述多个融合模型的预测效果值；从每个分群特征对应的多个融合模型中选取每个分群特征对应的预测效果值最大的目标融合模型；从所有分群特征对应的多个目标融合模型中选取所述预测效果值最大的所述最优融合模型。
48.可选地，所述装置还包括：
49.确定模块，用于将所述最优融合模型对应的分群节点确定为目标分群节点；
50.设置模块，用于在分群树上为对应的分群设置包括所述目标分群节点的分群条件。
51.可选地，所述分群处理子模块，还用于
52.将所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标进行对比；
53.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值大于第一预设阈值，判断所述分群树的当前深度是否大于第二预设阈值；
54.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值小于或等于所述第一预设阈值，删除本轮确定的目标分群节点，停止分群处理，其中，所述目标分群节点为所述最优融合模型对应的分群节点；
55.在分群树的当前深度大于第二预设阈值的情况下，停止分群处理；在所述分群树的当前深度小于或等于所述第二预设阈值的情况下，继续分群建模，直到所述分群树的当前深度大于所述第二预设阈值，停止分群处理。
56.可选地，所述装置还包括：
57.划分模块，用于根据预设比例或者样本时间将所述训练样本划分为训练集与验证集，其中，所述训练集用于建立所述分群模型，所述验证集用于验证所述分群模型；
58.确定模块，用于基于特征的稳定性确定所述训练样本的分群特征。
59.可选地，所述装置还包括：
60.转换模块，用于对于无序类分群特征，将所述无序分群特征转换为哑变量形式的分群特征，根据预设模型要求设置转换后的所述分群特征的分群节点；
61.预处理模块，用于对于数值类分群特征，对数值类分群特征的缺失值进行预处理，根据预设模型要求设置处理后的所述分群特征的分群节点。
62.根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
63.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
64.通过本发明，获取训练样本的分群特征；根据所述分群特征的分群节点对所述训练样本进行分群建模；根据建立的分群模型与基于所述训练样本建立的全样本基准模型进
行分群处理，可以解决相关技术中在样本没有已知分群标记的情况下，使用无监督算法进行分群无法根本性满足目标需求的问题，根据分群节点进行分群建模，可以提升分群后模型效果，可以满足目标需求。
附图说明
65.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
66.图1是本发明实施例的分群处理方法的移动终端的硬件结构框图；
67.图2是根据本发明实施例的分群处理方法的流程图；
68.图3是根据本发明实施例的自动化分群建模分群处理的流程图；
69.图4是根据本发明实施例的最优分群节点选择的流程图；
70.图5是根据本发明实施例的分群树的示意图；
71.图6是根据本发明实施例的分群处理装置的框图。
具体实施方式
72.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
73.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
74.实施例1
75.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的分群处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
76.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的分群处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
77.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)
模块，其用于通过无线方式与互联网进行通讯。
78.在本实施例中提供了一种运行于上述移动终端或网络架构的分群处理方法，图2是根据本发明实施例的分群处理方法的流程图，如图2所示，该流程包括如下步骤：
79.步骤s202，获取训练样本的分群特征；
80.步骤s204，根据所述分群特征的分群节点对所述训练样本进行分群建模；
81.本发明实施例中，上述步骤s204具体可以包括：根据所述训练样本或分群的每个分群特征的每个分群节点对所述训练样本进行分群，得到多组分群，其中，每组分群包括两个分群；分别对每组分群进行建模，得到每组分群对应的多组分群模型，其中，每组分群模型包括两个分群模型。
82.步骤s206，根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
83.本发明实施例中，上述步骤s206具体可以包括：
84.s2061，将每组分群模型进行融合，得到多个融合模型；
85.s2062，从所述多个融合模型中选取最优融合模型，具体可以根据模型的预测效果值选取，对应的，分别确定所述多个融合模型的预测效果值；从每个分群特征对应的多个融合模型中选取每个分群特征对应的预测效果值最大的目标融合模型；从所有分群特征对应的多个目标融合模型中选取所述预测效果值最大的所述最优融合模型；
86.s2063，根据所述最优融合模型与所述全样本基准模型进行分群处理，进一步的，将所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标进行对比；若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值大于第一预设阈值，判断所述分群树的当前深度是否大于第二预设阈值；若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值小于或等于所述第一预设阈值，删除本轮确定的目标分群节点，停止分群处理，其中，所述目标分群节点为所述最优融合模型对应的分群节点；在分群树的当前深度大于第二预设阈值的情况下，停止分群处理；在所述分群树的当前深度小于或等于所述第二预设阈值的情况下，继续分群建模，直到所述分群树的当前深度大于所述第二预设阈值，停止分群处理。
87.进一步的，在确定最优融合模型之后，将所述最优融合模型对应的分群节点确定为目标分群节点；在分群树上为对应的分群设置包括所述目标分群节点的分群条件。
88.在一可选的实施例中，在上述步骤s202之前，根据预设比例或者样本时间将所述训练样本划分为训练集与验证集，其中，所述训练集用于建立所述分群模型，所述验证集用于验证所述分群模型；基于特征的稳定性确定所述训练样本的分群特征。
89.在另一可选的实施例中，在上述步骤s202之前，对于无序类分群特征，将所述无序分群特征转换为哑变量形式的分群特征，根据预设模型要求设置转换后的所述分群特征的分群节点；对于数值类分群特征，对数值类分群特征的缺失值进行预处理，根据预设模型要求设置处理后的所述分群特征的分群节点。
90.在样本没有已知分群标记的情况下，通常会使用无监督算法将数据集分成一个个簇(可理解为一个个小组)，从而实现客户的分群，但无监督聚类的算法也会带来上述问题，无法根本性满足目标需求。本发明实施例使用有监督决策树的算法思路，通过改变决策树的分群条件，相关技术中的决策树的分群条件多为信息增益的提升、信息增益比的提升或
基尼系数的提升(cart)，本发明将分群条件改为了分群后模型效果(ks或auc)的提升，并且加入了稳定性验证，使得能够在仅有无监督样本的情况下，在算法过程中实现有监督的学习。
91.图3是根据本发明实施例的自动化分群建模分群处理的流程图，如图3所示，包括：
92.步骤s301，划分训练样本，确定候选分群特征；
93.将训练样本划分为训练集及验证集，一般划分比例为7:3，可随机划分，也可根据样本时间划分。在训练样本的时间外还需准备测试样本，测试样本一般为训练样本时间后的样本集，用来进一步验证模型鲁棒性。
94.根据业务建模经验或初步的样本分析结果，确定候选的分群特征，一般而言一些属性类，相对稳定的特征更适合作为分群特征，而一些在短期内容易发生较大波动及变化的特征则不适合。
95.步骤s302，建立全样本基准模型；
96.首先在不分群的情况下，基于全样本训练集及验证集开发一版基准模型，并记录下基准模型的ks、auc等模型效果评价指标。
97.步骤s303，遍历所有分群特征的所有分群节点；
98.对于无序的属性类分群特征，需预先进行转化，转化为哑变量的形式；对于数值类分群特征，需对缺失值进行预处理。数值类变量的分群节点多为各分位点，具体精度按模型的要求进行设置，精度越高，算法遍历时间越长。
99.步骤s304，根据分群节点进行快速分群建模；
100.快速建模指采用预设的模型经验参数，直接对训练样本进行建模，全过程无需人工调参干预，可快速对训练样本建模效果有一个初步评估。对分群节点的快速建模要求在模型方法及参数上与全样本基准模型一致。
101.步骤s305，选择最优特征分群节点；
102.步骤s306，判断是否需要继续分群建模，在判断结果为是的情况下，执行步骤s307，否则执行步骤s308；
103.步骤s307，生成数据子集，返回步骤s303继续分群处理；
104.图4是根据本发明实施例的最优分群节点选择的流程图，如图4所示，包括:
105.步骤s401，遍历每个分群特征的分群节点，假设目前遍历到特征f1，节点为p1，在这个节点下，数据集被分为a与b，对ab分别进行快速建模，将ab模型预测结果融合后，得到全样本模型预测结果，计算ab融合模型的ks及auc，记录并保留此节点结果。
106.步骤s402，一轮遍历完成后，选出融合后预测效果最好的特征及其分群节点；
107.步骤s403，将此节点下的分群融合模型效果与未分群时建立的全样本基准模型进行比较，判断分群融合模型相较于基准模型的提升是否大于预设阈值，在判断结果为否的情况下，执行步骤s404，在判断结果为是的情况下，执行步骤s405；
108.步骤s404，删除本轮选出的分区节点，并停止分群；
109.步骤s405，判断当前分群树深度是否大于预设阈值，在判断结果为是的情况下，执行步骤s406，在判断结果为是的情况下，执行步骤s407；
110.步骤s406，保留本轮选出的分群节点，并停止分群；
111.步骤s407，若未达到则继续进行下一层分群。
112.s308，结束并输出分群结果。
113.在完成自动化分群建模搜索算法后，输出最终分群树与每轮分群的模型提升度，图5是根据本发明实施例的分群树的示意图，如图5所示，与cart决策树算法输出结果类似，以二叉树的形式逐层采用上述步骤分群。
114.根据本发明的另一个实施例，还提供了一种分群处理装置，图6是根据本发明实施例的分群处理装置的框图，如图6所示，包括：
115.获取模块62，用于获取训练样本的分群特征；
116.建模模块64，用于根据所述分群特征的分群节点对所述训练样本进行分群建模；
117.分群处理模块66，用于根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
118.可选地，所述建模模块64包括：
119.分群子模块，用于根据所述训练样本或分群的每个分群特征的每个分群节点对所述训练样本进行分群，得到多组分群，其中，每组分群包括两个分群；
120.建模子模块，用于分别对每组分群进行建模，得到每组分群对应的多组分群模型，其中，每组分群模型包括两个分群模型。
121.可选地，所述分群处理模块66包括：
122.融合子模块，用于将每组分群模型进行融合，得到多个融合模型；
123.选取子模块，用于从所述多个融合模型中选取最优融合模型；
124.分群处理子模块，用于根据所述最优融合模型与所述全样本基准模型进行分群处理。
125.可选地，所述选取子模块，还用于分别确定所述多个融合模型的预测效果值；从每个分群特征对应的多个融合模型中选取每个分群特征对应的预测效果值最大的目标融合模型；从所有分群特征对应的多个目标融合模型中选取所述预测效果值最大的所述最优融合模型。
126.可选地，所述装置还包括：
127.确定模块，用于将所述最优融合模型对应的分群节点确定为目标分群节点；
128.设置模块，用于在分群树上为对应的分群设置包括所述目标分群节点的分群条件。
129.可选地，所述分群处理子模块，还用于
130.将所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标进行对比；
131.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值大于第一预设阈值，判断所述分群树的当前深度是否大于第二预设阈值；
132.若所述融合模型的模型评价指标与所述全样本基准模型的模型评价指标的差值小于或等于所述第一预设阈值，删除本轮确定的目标分群节点，停止分群处理，其中，所述目标分群节点为所述最优融合模型对应的分群节点；
133.在分群树的当前深度大于第二预设阈值的情况下，停止分群处理；在所述分群树的当前深度小于或等于所述第二预设阈值的情况下，继续分群建模，直到所述分群树的当前深度大于所述第二预设阈值，停止分群处理。
134.可选地，所述装置还包括：
135.划分模块，用于根据预设比例或者样本时间将所述训练样本划分为训练集与验证集，其中，所述训练集用于建立所述分群模型，所述验证集用于验证所述分群模型；
136.确定模块，用于基于特征的稳定性确定所述训练样本的分群特征。
137.可选地，所述装置还包括：
138.转换模块，用于对于无序类分群特征，将所述无序分群特征转换为哑变量形式的分群特征，根据预设模型要求设置转换后的所述分群特征的分群节点；
139.预处理模块，用于对于数值类分群特征，对数值类分群特征的缺失值进行预处理，根据预设模型要求设置处理后的所述分群特征的分群节点。
140.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
141.本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
142.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
143.s1，获取训练样本的分群特征；
144.s2，根据所述分群特征的分群节点对所述训练样本进行分群建模；
145.s3，根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
146.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
147.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
148.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
149.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
150.s1，获取训练样本的分群特征；
151.s2，根据所述分群特征的分群节点对所述训练样本进行分群建模；
152.s3，根据建立的分群模型与基于所述训练样本建立的全样本基准模型进行分群处理。
153.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
154.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示
出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
155.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。