实时日志分析告警方法、装置、设备及存储介质与流程

本发明涉及系统消息运维及数字医疗，尤其涉及在对医疗系统的系统消息进行管理时的一种实时日志分析告警方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着医疗水平的不断提高，医疗系统的功能越来越多，比如医疗系统中从最基础的电子病例、医疗信息存储系统，逐渐接入人工智能辅助诊断、基因组学和个性化医疗功能等等。如今在医疗系统的运维工作中，运维人员会需要关注和处理系统服务告警，当前业界普遍的监控系统中主要是基于metric的报警系统。

2、然而如今的医疗系统在metric消息报警时效上通常在异常发生几分钟之后才会发送报警通知，且现在各种医疗功能的接入，普遍采用的微服务领域，应用组件拆分细致、实例数量多，导致系统级别的告警已经不能满足运维人员在日常工程中的问题排查的细致粒度和及时通知的需求。

技术实现思路

1、本发明提供一种实时日志分析告警方法、装置、设备及存储介质，其主要目的在于提高多微服务医疗系统的复杂场景下的日志报警的细致性及时效性。

2、为实现上述目的，本发明提供的一种实时日志分析告警方法，包括：

3、利用日志收集器，从预构建的微服务集群的原始日志中采集日志消息写入预构建的消息队列中；

4、利用预构建的日志分析服务监听所述消息队列中的各个日志消息，将各个所述日志消息配置为源数据对象；

5、对所述源数据对象进行数据结构化解析，得到结构化日志对象，并根据预设的清洗策略，对所述结构化日志对象进行清洗操作，得到待分析日志对象；

6、根据预设的匹配规则，对所述待分析日志对象进行日志匹配分析，得到日志分析结果，并对所述日志分析结果中的待报警日志对象进行报警处理。

7、可选的，所述根据预设的匹配规则，对所述待分析日志对象进行日志匹配分析，得到日志分析结果，包括：

8、根据预设的匹配规则中的自定义规则，对所述待分析日志对象进行文本匹配，得到第一分析结果；

9、根据所述匹配规则中的复杂规则引擎匹配，对所述待分析日志对象进行规则匹配，得到第二分析结果；

10、对所述第一分析结果与所述第二分析结果进行逻辑与操作，得到日志分析结果。

11、可选的，所述利用日志收集器，从预构建的微服务集群的原始日志中采集日志消息写入预构建的消息队列中，包括：

12、利用mysql数据库中的日志查询服务，根据预设的文件路径，查询预构建的微服务集群的原始日志，得到日志消息；

13、根据所述文件路径配置所述日志收集器，及利用预设的文件创建脚本，构建kafka服务的主题文件；

14、利用配置好的所述日志收集器，将所述日志消息导入所述主题文件中；

15、利用mq服务构建消息队列，并利用所述mq服务中的消费api接口对接所述kafka服务，调取得到日志消息，并将所述日志消息导入所述消息队列中。

16、可选的，所述对所述日志分析结果中的待报警日志对象进行报警处理，包括：

17、将所述分析结果写入预构建的redis进行统计，并根据限流配置，对统计结果数据进行限制，得到待报警日志对象；

18、判断所述待报警日志对象的报警类型；

19、当所述待报警日志对象为及时报警类型，则将待报警日志对象发送至预构建的报警分发部门；

20、当所述待报警日志对象为延时报警类型，则根据预设的时间频率对所述redis中的待报警日志对象进行持久化写入预构建的待发提醒数据库中。

21、可选的，所述利用预构建的日志分析服务监听所述消息队列中的各个日志消息之前，所述方法还包括：

22、获取预构建的kubernetes集群，及根据flinkjar方式构建日志分析服务；

23、将所述日志分析服务部署至所述kubernetes集群中。

24、可选的，所述利用预构建的日志分析服务监听所述消息队列中的各个日志消息，将各个所述日志消息配置为源数据对象之后，所述方法还包括：

25、监听所述日志分析服务的负载信息；

26、根据所述负载信息，对所述日志分析服务中的kubernetes集群进行自适应横向扩展缩容。

27、为了解决上述问题，本发明还提供一种实时日志分析告警装置，所述装置包括：

28、日志数据获取模块，用于利用日志收集器，从预构建的微服务集群的原始日志中采集日志消息写入预构建的消息队列中；

29、日志对象配置模块，用于利用预构建的日志分析服务监听所述消息队列中的各个日志消息，将各个所述日志消息配置为源数据对象，及对所述源数据对象进行数据结构化解析，得到结构化日志对象，并根据预设的清洗策略，对所述结构化日志对象进行清洗操作，得到待分析日志对象；

30、日志分析报警模块，用于根据预设的匹配规则，对所述待分析日志对象进行日志匹配分析，得到日志分析结果，并对所述日志分析结果中的待报警日志对象进行报警处理。

31、可选的，所述根据预设的匹配规则，对所述待分析日志对象进行日志匹配分析，得到日志分析结果，包括：

32、根据预设的匹配规则中的自定义规则，对所述待分析日志对象进行文本匹配，得到第一分析结果；

33、根据所述匹配规则中的复杂规则引擎匹配，对所述待分析日志对象进行规则匹配，得到第二分析结果；

34、对所述第一分析结果与所述第二分析结果进行逻辑与操作，得到日志分析结果。

35、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

36、至少一个处理器；以及，

37、与所述至少一个处理器通信连接的存储器；其中，

38、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的实时日志分析告警方法。

39、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的实时日志分析告警方法。

40、本发明实施例通过对微服务集群的原始日志进行采集，得到日志消息，增加医疗系统报警的细粒度，然后对日志消息进行结构化处理、清洗操作，将日志文件转化为数据流，得到待分析日志对象，然后根据预设的匹配规则，通过自定义规则的文本匹配以及复杂规则引擎匹配，并将分别得到的分析结果进行逻辑与操作，得到待报警日志对象；在医疗系统中，本发明对日志进行规则匹配分析可能需要同时满足多个规则或条件，既可以提高结果的准确性和可靠性，又避免了误报的可能性以确保匹配结果的可信度和有效性；此外，本发明实施例对待报警日志对象进行报警处理包括及时处理与延时处理两种方式，将不严重提醒延后，提高医疗系统的有效提醒率。因此，本发明实施例提供的一种实时日志分析告警方法、装置、设备及存储介质，能够在于提高多微服务医疗系统的复杂场景下的日志报警的细致性及时效性。