异步消息集成与异常告警方法与流程

本发明涉及数据处理基于领域，尤其是异步消息集成与异常告警方法。

背景技术：

1、随着互联网技术的发展，各行各业越来越依赖互联网提供服务。尤其是微服务和容器技术的出现，使得服务应用的发展更是与日俱增。

2、服务系统之间会产生、交互和处理大量的业务消息。其中，业务消息在服务系统之间交互可以采用同步和异步两种模式。同步模式是指第一服务系统处理完来自第二服务系统的一个业务消息，并反馈给第二服务系统之后，第一服务系统才能处理下一个业务消息。这种模式的吞吐量和处理能力比较低。相比之下，异步模式中第二服务系统无需等待第一服务系统处理业务消息的结果，可以直接产生大量的业务消息，第一服务系统按照自身实际情况处理业务消息即可。异步模式大大提高了吞吐量和处理能力，因此得到业内的青睐。

3、但是异步模式对于消息的处理无法满足各类业务场景，故亟需一种异步消息集成方法提升对于异步消息的集成处理能力。

技术实现思路

1、本发明的目的是通过提出异步消息集成与异常告警方法，以解决上述背景技术中提出的缺陷。

2、本发明采用的技术方案如下：

3、提供异步消息集成与异常告警方法，包括如下步骤：

4、s1：基于传感器采集异步消息；

5、s2：通过异步消息聚类算法对异步消息进行聚类；

6、s3：基于异常判断算法判断异步消息中是否存在异常；

7、s4：根据异常判断结果进行异步消息的告警或集成存储处理。

8、作为本发明的一种优选技术方案：所述s1中，基于传感器采集异步消息，并生成异步消息队列，并根据更新的异步消息更新队列消息。

9、作为本发明的一种优选技术方案：所述s2中的异步消息聚类算法具体如下：

10、在异步消息集a中选取n/ρ个异步消息构成一个小消息集b，随机抽样参数为p，聚类阈值参数为α，n为小消息集b的异步消息数量，从中任意选取k个消息样本作为初始聚类中心：

11、c＝{c1，…，ck，…，ck}

12、计算消息样本与每个聚类中心间的距离：

13、

14、其中，bi为第i个消息样本；

15、当聚类中心的异步消息发生变化时，计算每个小消息集b中的消息样本到聚类中心之间的距离d(bi，ck)，将消息数据集中值最小的消息样本划分给其距离最近的聚类中，反复计算并对所有的聚类中心进行更新，直到所有的异步消息不再发生变化为止；

16、计算每个聚类结果中每个类别的半径rk：

17、rk＝max d(bi，ck)

18、同时计算异步消息集中剩余异步消息中的任意一个异步消息样本，与已计算得到的随机采样结果进行距离比对，得到最终的异步消息聚类结果。

19、作为本发明的一种优选技术方案：所述s3中的异常判断算法中，计算每个异步消息聚类结果的信息熵，并基于信息熵的簇的评价指标进行异步消息的异常评估。

20、作为本发明的一种优选技术方案：所述异常判断算法具体如下：

21、

22、其中，h(ck)为ck的信息熵，cl为第l个聚类中心，|·|为集合中点的个数；

23、基于信息熵的簇评价指标e(ck)进行异步消息的评价：

24、

25、其中，max(h)、min(h)分别为h(ck)的最大值和最小值；

26、作为本发明的一种优选技术方案：所述s4中，基于评价指标阈值进行异步消息的异常评估。

27、作为本发明的一种优选技术方案：所述s4中，对于判断未出现异常的异步消息进行集成存储，对于判断异常的异步消息进行告警。

28、作为本发明的一种优选技术方案：所述集成存储基于全局集成算法进行异步消息的集成和存储。

29、作为本发明的一种优选技术方案：所述全局集成算法具体如下：

30、根据k类聚类结果，和每类的聚类中心ck搭建异步消息集成核，所述异步消息集成核中聚类中集合的输出结果δδt，k如下：

31、δδt，k＝{c1，…，ck，…，ck}

32、其中，δt为异步消息采集时间差；

33、异步消息集成如下：

34、

35、

36、其中，为δδt，k的加权均值，e为判断函数，e(xa)为第a个异步消息所在簇信息熵的簇评价指标，q(xa)为第a个异步消息所在的簇，q(xb)为第b个异步消息所在的簇。

37、作为本发明的一种优选技术方案：所述s4中，还对判断异常的异步消息进行异常记录存储。

38、本发明提供的异步消息集成与异常告警方法，与现有技术相比，其有益效果有：

39、本发明基于异步消息聚类算法对采集的异步消息分别进行聚类，提升对于异步消息的集成准确率；并基于异常判断算法进行聚类结果的异常判断，保证异步消息的正常接收，再通过全局集成算法进行异步消息的集成，保证输出的异步消息的集成质量，并满足各类业务场景。

技术特征：

1.异步消息集成与异常告警方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的异步消息集成与异常告警方法，其特征在于：所述s1中，基于传感器采集异步消息，并生成异步消息队列，并根据更新的异步消息更新队列消息。

3.根据权利要求2所述的异步消息集成与异常告警方法，其特征在于：所述s2中的异步消息聚类算法具体如下：

4.根据权利要求3所述的异步消息集成与异常告警方法，其特征在于：所述s3中的异常判断算法中，计算每个异步消息聚类结果的信息熵，并基于信息熵的簇的评价指标进行异步消息的异常评估。

5.根据权利要求4所述的异步消息集成与异常告警方法，其特征在于：所述异常判断算法具体如下：

6.根据权利要求5所述的异步消息集成与异常告警方法，其特征在于：所述s4中，基于评价指标阈值进行异步消息的异常评估。

7.根据权利要求6所述的异步消息集成与异常告警方法，其特征在于：所述s4中，对于判断未出现异常的异步消息进行集成存储，对于判断异常的异步消息进行告警。

8.根据权利要求7所述的异步消息集成与异常告警方法，其特征在于：所述集成存储基于全局集成算法进行异步消息的集成和存储。

9.根据权利要求8所述的异步消息集成与异常告警方法，其特征在于：所述全局集成算法具体如下：

10.根据权利要求9所述的异步消息集成与异常告警方法，其特征在于：所述s4中，还对判断异常的异步消息进行异常记录存储。

技术总结
本发明涉及数据处理基于领域，尤其为异步消息集成与异常告警方法，包括如下步骤：S1：基于传感器采集异步消息；S2：通过异步消息聚类算法对异步消息进行聚类；S3：基于异常判断算法判断异步消息中是否存在异常；S4：根据异常判断结果进行异步消息的告警或集成存储处理。本发明基于异步消息聚类算法对采集的异步消息分别进行聚类，提升对于异步消息的集成准确率；并基于异常判断算法进行聚类结果的异常判断，保证异步消息的正常接收，再通过全局集成算法进行异步消息的集成，保证输出的异步消息的集成质量，并满足各类业务场景。

技术研发人员：康震,胡伦良,吴振刚,刘虎,贾洪亮,高炬
受保护的技术使用者：中建材信息技术股份有限公司
技术研发日：
技术公布日：2024/1/22