卷烟销量异常检测方法、装置、设备、程序产品及介质与流程

本发明涉及数据处理，具体涉及卷烟销量异常检测方法、装置、设备、程序产品及介质。

背景技术：

1、卷烟销量异常检测旨在通过分析卷烟销售量的增长情况，捕捉卷烟销量数据中的异动情况，从而对企业的生产经营情况做出预警，对生产策略做出调整，是改善并提高经济效益的重要保障。卷烟销量异常检测可以通过对销量的历史数据建立预测模型并计算残差值，然后利用残差值对于离群点的敏感性，有效的对销量是否发生异动进行研判。可见，有效的异动判别离不开有效的预测模型，因此销量预测模型的性能在异常检测中占有十分重要的地位。

2、目前常用的预测方法包括时间序列预测模型和机器学习模型两大类，前者能够较好地总结过去一段时间历史数据的经验，从而对将来的增长趋势进行推理，同时一些带有季节性分量的方法也能够较好地处理数据的周期性特征，如季节性差分自回归滑动平均模型、三次指数平滑法等。然而，传统的时间序列模型无法难以处理整个序列中底层的统计信息，这一不足严重限制了其在一些实际中的应用；机器学习模型，通过构建非线性的神经网络模型，能够有效地对整个时间序列的非线性和随机性进行建模，提升了预测的性能。然而，目前单独的机器学习模型仍然难以应对数据特征较为复杂的卷烟销量数据，残差值的计算准确度和异常检测的精度仍然存在较大的提升空间。

3、此外，在集成学习方法，以往的方法只单独考虑同质或异质的情况，前者利用同种模型在不同尺度的输入下进行集成，后者利用不同模型在同尺度输入下进行集成；前者考虑的是数据集的上下文信息，后者则是利用优化方法和模型结构的不同，扩大搜索空间。基于现有技术存在的问题，本发明综合考虑了两种方法的优势，提出了一种联合同质和异质模型的集成学习模型的预测方法。

技术实现思路

1、一方面，本发明提出了一种卷烟销量异常检测方法，通过建立基于集成学习的预测模型实现对于卷烟销量的预测，进而计算残差值，利用残差值的统计特点确定异常判别的阈值，实现对于离群点的有效检测，进而提高卷烟销量预测的预测能力和鲁棒性。

2、为实现上述目的，本发明采用的技术方案提供一种卷烟销量异常检测方法，该卷烟销量异常检测方法包括以下步骤：

3、对所获得的卷烟销量数据进行清洗、补全，得到卷烟销量数据序列x＝(x1，x2，...，xt)；

4、对于所获得的卷烟销量数据序列x＝(x1，x2，...，xt)进行标准化处理，得到标准化数据序列；

5、利用滑动窗口法对所述标准化数据序列进行划分，生成可供机器学习模型进行训练的数据集；

6、对所述数据集同时进行同质学习和异质学习，然后将同质学习和异质学习学习后的预测结果进行集成，输出最终集成学习模型的预测结果；

7、对所述预测结果进行判断，若判断结果大于判定阈值，则判定卷烟销量异常，否则，判定卷烟销量正常。

8、通过上述技术方案，上述卷烟销量异常检测方法提出采用联合同质学习器和异质学习器的集成学习方法，综合评估多个学习器来降低风险，并将学习结果进行集成，获得了更好的预测精度，从而解决局部最优、搜索空间不足和计算不够精确等问题，有助于提高残差计算的精度和确定阈值，继而提高卷烟销量异常检测的精度和可靠性。

9、进一步的，通过公式(1)对卷烟销量数据序列x＝(x1，x2，...，xt)进行标准化处理，公式(1)表示为：

10、

11、其中,xi′表示标准分数，xi表示x1，x2，...，xt中的一个数值，mean(x)表示序列的均值，σx为标准差。

12、作为对上述技术方案的进一步改进，所述数据集表示为：

13、

14、x表示输入值；y表示对应的观测值；offset表示输入的时间尺度。

15、作为对上述技术方案的进一步改进，所述同质学习和异质学习包括如下步骤：

16、s11：确定标准时间尺度；

17、s12：确定集成所需的学习器l的个数；

18、s13：生成训练数据集，将时间尺度信息重新返回到数据集生成模块，生成各学习器所需的训练数据集；

19、s14：模型训练和集成，学习器依据各自的训练数据集分别进行模型训练和预测，并将预测结果按照加权平均的方式进行集成。

20、作为对上述技术方案的进一步改进，将同质学习和异质学习后的预测结果进行集成，包括以下步骤：

21、s21：对同质学习和异质学习分配权重；

22、s22：对分配过权重的预测结果进行集成；

23、

24、式中：d表示集成的预测结果；表示同质学习模型预测结果数值；表示异质学习模型预测结果数值；a表示同质学习模型赋予的权重；b表示异质学习模型赋予的权重。

25、作为对上述技术方案的进一步改进，对所述预测结果判断包括以下步骤：

26、s31：根据公式计算残差，为了方便计算以差值的绝对值为残差。

27、

28、

29、式中：y表示一组时间序列观测值；表示预测模型预测结果数值；r表示残差值；

30、s32：根据标准差确定异常判定阈值rt，根据公式确定判定阈值rt

31、rt＞λ*σ(r)  (5)

32、式中：λ是控制阈值大小的系数，σ(r)为残差r的标准差；

33、s33：判定异常；根据残差和确定的异常判定阈值进行异常判定。

34、根据本技术的另一方面，本发明还提供一种卷烟销量异常检测装置，卷烟销量异常检测装置包括数据集生成模块、集成学习模块和异常判定模块；

35、数据集生成模块：用于清洗原始数据，并依照滑动窗口法生成训练数据集；

36、集成学习模块：所述集成学习模块包括同质学习模块和异质学习模块，所述同质学习模块集成了多个时间尺度的同类型机器学习模型，所述异质学习模块则集成了多个不同类型的机器学习模型，通过集成同质学习模块和异质学习模块两部分的预测结果集成，得到对于卷烟销量的最终预测；

37、异常判定模块：所述异常判定模块利用获得的预测结果求得残差，然后基于残差的统计信息确定异常判别的阈值。

38、根据本技术的另一方面，本发明还提供一种卷烟销量异常检测的电子设备，卷烟销量异常检测的电子设备包括：

39、存储器，用于存储计算机可执行指令；

40、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现上述技术方案中的卷烟销量异常检测方法。

41、根据本技术的另一方面，本发明还提供一种计算机程序产品，该计算机程序产品包括计算机可执行指令或者计算机程序，计算机可执行指令或者计算机程序被处理器执行时，实现上述技术方案中的卷烟销量异常检测方法。

42、根据本技术的另一方面，本发明还提供一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，计算机可执行指令或者计算机程序被处理器执行时，实现上述技术方案中的卷烟销量异常检测方法。

43、与现有技术相比，本发明至少有以下的有益效果：本技术通过基于集成学习的预测方法对卷烟销量异常进行检测，从时间序列上下文之间、不同时间跨度的关系和不同机器学习模型结构、优化方式的差异性出发，同时对同质学习结果和异质学习结果进行集成的学习方法，提高了卷烟销量预测的预测能力和鲁棒性，进而提高了异常判定模块中残差和阈值的计算，实现了对于卷烟销量异常的有效检测。