一种生成式营销事件风控规则库的构建方法及系统与流程

本发明涉及深度学习的异常检测领域，具体地说是一种基于无监督学习的生成式营销事件风控规则库的构建方法及系统。

背景技术：

1、由于异常事件的发生频率较低并且通常缺乏清晰的定义，以及往往缺乏真实的标签，目前对无监督异常检测方法的研究相对较少。此外，在营销事件中，同样存在缺乏真实标签的情况，这会对检测异常风险事件增加很大的难度。

2、随着现代智能产业中传感器数量不断增加，对营销事件的异常检测越来越困难。如何有效地处理多传感器的测量结果以学习环境的动态和背景，并提高系统的运行效率成为新的挑战。传统的数学学习方法在处理大规模数据源时存在局限性，因此引入深度学习(dl)成为一种有吸引力的选择。dl能够有效地解释上下文感知的潜在模式，并被广泛认为是各个领域中最先进的方法之一。在基于dl的表征学习中，已经有一些研究致力于设计错误行为检测方法，以检测多传感器数据中的异常事件。然而，这些方法通常不能从多传感器数据中提取出一个强大且统一的基本正常行为表示，并同时保留事件之间的依赖性。因此，需要进一步探索和开发创新的方法，以克服这些挑战，提高对多传感器数据中风险事件的准确检测和有效建模的能力。

技术实现思路

1、本发明的目的在于解决现有技术在无监督异常检测方面存在的问题，提出一种基于无监督学习的生成式营销事件风控规则库的构建方法及系统，其通过负向学习和无监督学习的结合，以此有效应对缺乏真实标签和多传感器数据的挑战，为构建风险规则库和营销事件的风险控制提供支持。

2、为此，本发明采用如下的技术方案：一种生成式营销事件风控规则库的构建方法，其包括：

3、步骤1），数据准备，收集和准备用于训练和测试的营销风险事件样本数据集；

4、步骤2），构建生成器，生成器接受一个营销风险事件样本数据作为输入，并根据营销风险事件样本生成营销风险事件重构样本；

5、步骤3），构建判别器，用于区分真实的营销风险事件样本和生成器生成的营销风险事件重构样本；

6、步骤4），定义损失函数，通过最小化生成器和判别器的损失函数，利用生成器生成逼真的重构样本，并使判别器具有更好的辨别能力；

7、步骤5），通过负向学习(nl)反馈，训练无监督生成协同学习模型(gcl)，所述的无监督生成协同学习模型包括一个所述的生成器和一个所述的判别器；在训练过程中，交替训练生成器和判别器，首先，固定生成器，通过最小化判别器的损失来更新判别器的参数；然后，固定判别器，通过最小化生成器的损失来更新生成器的参数；通过负向学习反馈机制提高生成器的性能，直到生成器和判别器都达到收敛状态；

8、步骤6），风险事件识别，使用已训练好的无监督生成协同学习模型进行风险事件的识别；

9、步骤7），写入风险规则库，将判断为异常风险事件的数据写入风险规则库中，实时更新风险规则库。

10、本发明提出了一种新的无监督生成协同学习(gcl)异常检测方法，通过利用异常事件的低频率特征以及交叉监督的方式，使用生成器和判别器相互学习，来实现对营销风险事件的异常检测和判别；同时，采用多传感器数据的统一学习网络(usmd)作为判别器，该判别器利用自动编码器架构、基于lstm的时间依赖网络(tdn)和注意力单元以及隔离森林算法，对生成器生成的重构样本和真实样本进行判别，然后计算生成器的损失函数值（loss值），将loss值和给定的阈值进行比较，判断样本是否是异常的，如果是异常的事件，把该事件写入风险规则库中。

11、本发明特别适用于识别风险事件的场景，能够在复杂的监测场景中定位异常事件，而不需要标记的训练数据，实现新型营销事件风险虚拟生成与识别，丰富风控规则库。

12、进一步地，步骤2）中，所述的生成器为一个自动编码器（ae），自动编码器由编码器和解码器组成，编码器将输入数据映射到潜在空间中的低维表示，而解码器则将潜在空间中的低维表示映射回原始数据空间。

13、更进一步地，步骤2）中，所述生成器的训练过程如下：

14、1）输入真实的营销风险事件样本数据；

15、2）编码器将真实的营销风险事件样本数据转换为潜在表示向量；

16、3）解码器将潜在表示向量解码为风险事件重构样本；

17、4）计算重构样本与真实样本之间的差异，即重构损失；

18、5）使用反向传播算法更新生成器的参数，以最小化重构损失，使重构样本更接近真实样本。

19、进一步地，步骤3）中，所述的判别器采用一种用于系统异常检测的模型，称为统一学习网络，在异常行为检测中，判别器使用隔离森林算法作为异常检测方法；判别器接受一个样本作为输入，并输出一个标量值，表示输入样本是真实样本还是重构样本。

20、更进一步地，步骤3）中，所述的隔离森林算法是一种基于树的无监督异常检测算法，用于快速识别重构样本中的异常点；所述隔离森林算法的具体步骤如下：

21、1）构建隔离树：每棵隔离树通过随机选择特征和分割值构建；先从输入特征集中随机选择一个特征；然后从选定特征的取值范围内随机选择一个分割值；再将数据集中小于等于分割值的样本放入左子集，大于分割值的样本放入右子集；最后对左、右子集分别进行递归操作，继续选择特征和分割值，直到满足停止条件；

22、2）构建隔离森林：重复步骤1)，构建多棵隔离树，形成隔离森林；

23、3）计算样本的异常得分：对于每个样本，在隔离森林中通过树的路径长度计算其异常得分，路径长度表示从根节点到达终端节点所经过的边数；

24、4）设定阈值并识别异常点：根据异常得分和预先设定的阈值，将样本划分为正常点和异常点。

25、更进一步地，所述统一学习网络，具体包括：

26、统一学习网络是利用长短期记忆和注意力单元的结合，对输入的数据进行统一的表示，然后利用隔离森林算法作为一个错误检测器，进行判别。

27、进一步地，步骤4）中， 生成器的损失函数是重构损失函数，重构损失函数是在自动编码器中使用的一种目标函数，重构损失函数使用均方差损失计算；判别器的损失函数使用二元交叉熵损失函数衡量其分类性能。

28、进一步地，步骤5）中，所述负向学习，具体描述如下：

29、负向学习是判别器对生成器的一种反馈机制，在训练生成器时，生成器被鼓励对具有异常伪标签的样本进行标签翻转重建，对具有正常伪标签的样本旨在以最小误差进行正常的重建；把判断为异常的原向量替换为全为1的向量，正常的则使用原向量。

30、进一步地，步骤6）中，所述风险事件识别，具体内容如下：

31、输入数据，进行数据预处理后输入到无监督生成协同学习模型中，根据实际情况选择合适的阈值，当生成器的重构损失函数大于给定的阈值，或者判别器的二元交叉损失函数大于给定的阈值，判断事件异常。

32、本发明还提供一种生成式营销事件风控规则库的构建系统，其用于实现上述生成式营销事件风控规则库的构建方法。

33、与现有技术相比，本发明具有以下有益效果：

34、（1）无监督学习能力：本发明通过建立生成器和判别器之间的交叉监督机制，利用异常的超低频率实现了无监督学习，能够处理缺乏标记的数据和未知异常类型的情况，具有很好的适用性和灵活性。

35、（2）大规模数据处理能力：本发明适用于大规模数据处理，并能够高效处理营销事件中的异常事件判断。通过无监督学习的方法，可以对大量数据进行快速准确的异常检测，并实时更新风险规则库，从而提供可靠的风险管理和决策支持。

36、（3）实时更新和优化：本发明能够实时更新异常事件的风险规则库，使模型能够及时适应新的数据和情况变化。这种实时更新和优化的机制使得异常检测模型能够不断提升性能，提高异常检测的准确性和可靠性。