指标稽核告警方法、装置、设备及存储介质与流程

本申请涉及复杂事件处理领域，尤其是涉及一种指标稽核告警方法、装置、设备及存储介质。

背景技术：

1、当前复杂事件处理技术，通过关联、时序、聚合等方式对多种数据进行分析处理，可以发现一些有价值的消息，是大数据处理的关键技术之一。关于指标、监控和告警都是相关联的概念，共同构成监控系统的基础。它们提供系统运行的可行性，帮助了解用量或行为趋势，以及每次变更的影响，即在指标超过了预期范围，监控系统可以发送通知提示人员进行查看，以及帮助定位异常原因。现有对复杂事件处理方法包括，一是基于flink(一种处理框架)实现实时监控告警的方法，二是在flink复杂事件处理(complex event processing，cep)架构下进行指标的规则匹配。

2、目前，基于flink的实时监控告警方法是根据flink分布式流式数据处理引擎，设计了两个实时作业任务，包括指标任务和监控作业任务，以此来达到复杂事件处理的指标稽核告警。或者，在flink cep引擎架构下，客户行为日志存放入卡夫卡消息系统中，cep加载拼接规则表，进行重启任务，更新规则，并以最新规则匹配事件，得到过滤结果。此些方法虽然能实现复杂事件的指标稽核告警，但实现任务繁多，指标稽核的效率较低。

3、如何在实际场景中，将指标数据完全检测，在保证指标稽核告警效率高的前提下，将检测到的问题指标告警于监控系统，是本发明亟需解决的问题。

技术实现思路

1、本申请提供一种指标稽核告警方法、装置、设备及存储介质，用以解决如何在实际场景中，将指标数据完全检测，在保证指标稽核告警效率高的前提下，将检测到的问题指标告警于监控系统或者用户的问题。

2、第一方面，本申请提供一种指标稽核告警方法，该方法包括：

3、根据卡夫卡消息系统的数据流，得到一个第一输入消息，对第一输入消息进行处理，得到多个第二输入消息，其中，每个第二输入消息均对应一个字符串，对于每个第二输入消息，每个字符串分别对应一种预设指标；

4、根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息，其中，过滤消息是根据过滤规则过滤出的第二输入消息；

5、将过滤消息写入关系型数据库。

6、在一种可能的设计中，数据流包括多个系统数据；

7、根据卡夫卡消息系统的数据流，得到一个第一输入消息，对第一输入消息进行处理，得到多个第二输入消息，包括：

8、将每个系统数据的数据格式均转换为键值对字符串；

9、根据数据格式转换后的每个系统数据，得到每个系统数据对应的第二输入消息。

10、在一种可能的设计中，目标系统数据是多个系统数据中的任意一个，目标输入消息是多个第二输入消息中，目标系统数据对应的第二输入消息；

11、根据数据格式转换后的每个系统数据，得到每个系统数据对应的第二输入消息，包括：

12、根据多个预设指标，从数据格式转换后的目标系统数据中，分别提取每个预设指标对应的字符串，得到目标输入消息。

13、在一种可能的设计中，根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息之前，方法还包括：

14、根据预设的每个检测指标对应的过滤规则，得到规则存储表，其中，多个预设指标包括每个检测指标。

15、在一种可能的设计中，任意两个过滤规则间，通过或条件关联。

16、在一种可能的设计中，根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息，包括：

17、分别根据每个检测指标对应的过滤规则，对每个检测指标对应的字符串进行过滤，得到过滤消息，其中，过滤消息是每个检测指标对应的过滤消息的并集。

18、在一种可能的设计中，将过滤消息写入关系型数据库，包括：

19、将过滤消息，以及过滤消息对应的写入时间和系统数据，写入关系型数据库。

20、第二方面，一种指标稽核告警装置，包括：

21、获取模块，用于根据卡夫卡消息系统的数据流，得到一个第一输入消息，对第一输入消息进行处理，得到多个第二输入消息，其中，每个第二输入消息均对应一个字符串，对于每个第二输入消息，每个字符串分别对应一种预设指标；

22、检测模块，用于根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息，其中，过滤消息是根据过滤规则过滤出的第二输入消息；

23、确定模块，用于将过滤消息写入关系型数据库

24、第三方面，一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

25、存储器存储计算机执行指令；

26、处理器执行存储器存储的计算机执行指令时，用于实现如用于实现第一方面
技术实现要素：
的一种指标稽核告警方法。

27、第四方面，一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时，用于实现第一方面发明内容的一种指标稽核告警方法。

28、第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现第一方面发明内容的一种指标稽核告警方法。

29、本申请提供的一种指标稽核告警方法、装置、设备及存储介质，根据卡夫卡消息系统的数据流，得到一个第一输入消息，对第一输入消息进行处理，得到多个第二输入消息，其中，每个第二输入消息均对应一个字符串，对于每个第二输入消息，每个字符串分别对应一种预设指标；根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息，其中，过滤消息是根据过滤规则过滤出的第二输入消息；将过滤消息写入关系型数据库。实现了以下技术效果：根据进入消息系统的数据流，得到多个第二输入消息，对每个数据消息进行预处理，解决了实际大数据场景中，数据量大且一个指标包含较多的数据指标的同时，不能逐一对检测指标完全检测的问题；根据过滤规则，将预处理得到的数据，通过过滤条件继续过滤，得到过滤结果，解决了当前flink cep中应用场景单一，指标不能完全检测出来的问题；根据过滤规则，将预处理得到的数据，通过过滤条件继续过滤，得到过滤结果，解决了现有检测技术数据大部分需要提前采集，并形成一个统一的预设格式输入程序，才能进行规则匹配的问题，同时，检测不同指标可以相互独立，可以按需扩充检测指标，维护成本小，效率高；根据过滤结果以特殊规则存储在数据库中，解决了问题指标检测出来后，指标持久化的方式，与实际工作中的情景不符的问题。

技术特征：

1.一种指标稽核告警方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据流包括多个系统数据；

3.根据权利要求2所述的方法，其特征在于，目标系统数据是所述多个系统数据中的任意一个，目标输入消息是所述多个第二输入消息中，所述目标系统数据对应的第二输入消息；

4.根据权利要求2或3所述的方法，其特征在于，所述根据预存在关系型数据库的规则存储表的过滤规则集合，对所述多个第二输入消息进行过滤，得到过滤消息之前，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，任意两个过滤规则间，通过或条件关联。

6.根据权利要求5所述的方法，其特征在于，所述根据预存在关系型数据库的规则存储表的过滤规则集合，对所述多个第二输入消息进行过滤，得到过滤消息，包括：

7.根据权利要求1或6所述的方法，其特征在于，所述将所述过滤消息写入所述关系型数据库，包括：

8.一种指标稽核告警装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时，用于实现如权利要求1至7任一项所述的一种指标稽核告警方法。

技术总结
本申请提供一种指标稽核告警方法、装置、设备及存储介质，涉及复杂事件处理领域。该方法包括：根据卡夫卡消息系统的数据流，得到一个第一输入消息，对第一输入消息进行处理，得到多个第二输入消息，其中，每个第二输入消息均对应一个字符串，对于每个第二输入消息，每个字符串分别对应一种预设指标；根据预存在关系型数据库的规则存储表的过滤规则集合，对多个第二输入消息进行过滤，得到过滤消息，其中，过滤消息是根据过滤规则过滤出的第二输入消息；将过滤消息写入关系型数据库。本申请的方法解决了如何在数据量大的实际场景中，指标检测需提前采集以及检测指标不完全的问题。

技术研发人员：李飞燕,刘贤松,欧大春,陈凌,曹斌
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/3/24