一种基于日志采集的监控预警系统及方法与流程

本发明涉及服务器日志，尤其涉及一种基于日志采集的监控预警系统及方法。

背景技术：

1、随着互联网规模的不断扩大，应用不断增多，网络已经深入到生活的各方面，给用户的日常生活带来极大的方便；在实际生产过程中，系统服务调用及用户操作行为均为产品的持续迭代和优化提供了重要的数据支撑，同时也对稳定交付运行也起着至关重要的作用；但是系统不会一直健康的运行，因此对系统进行监控预警就显着格外重要。

2、现有技术中对系统进行监控预警通常会将接口调用日志和操作日志的数据丢弃，导致监控预警的准确度不高；同时，对数据进行分析的周期较长，导致不能及时的发出预警。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于日志采集的监控预警系统及方法，旨在解决现有技术中对系统进行监控预警的准确率低和时效性低的问题。

2、为实现上述目的，本发明提供一种基于日志采集的监控预警系统，其中，所述基于日志采集的监控预警系统包括：

3、数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；所述数据定义模块分别与所述数据变更模块和所述数据监听模块连接，所述数据变更模块与所述数据监听模块连接，所述数据监听模块与所述数据分析模块连接，所述数据分析模块与所述预警响应模块连接；

4、所述数据定义模块用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块，将所述行为埋点发送给数据监听模块；

5、所述数据变更模块用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块；

6、所述数据监听模块用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块，并将所述接口调用日志储存至日志数据库；

7、所述数据分析模块用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块；

8、所述预警响应模块用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。

9、所述的基于日志采集的监控预警系统，其中，所述数据定义模块包括定义单元和第一发送单元；所述定义单元用于将更新业务数据行为定义为业务实体，并将页面操作行为定义为行为埋点；所述第一发送单元用于将所述业务实体发送给所述数据变更模块，并将所述行为埋点发送给数据监听模块。

10、所述的基于日志采集的监控预警系统，其中，所述数据变更模块包括更新单元和第二发送单元；所述更新单元用于基于系统接口对所述业务实体的增删改查操作进行更新，得到目标业务实体；所述第二发送单元用于并将所述目标业务实体发送给所述数据监听模块。

11、所述的基于日志采集的监控预警系统，其中，所述数据分析模块包括分类单元和第三发送单元；所述分类单元用于基于预警规则引擎对所述操作日志进行事件信息分类得到分类结果；所述第三发送单元用于将所述分类结果发送至所述预警响应模块。

12、所述的基于日志采集的监控预警系统，其中，所述预警响应模块包括预警查找单元、预警执行单元与后台处理单元，其中，所述预警查找单元、所述预警执行单元与所述后台处理单元之间依次连接；所述预警查找单元用于接收所述分类结果，根据所述分类结果查找应急处理库，得到不同类型的应急处理方案，并将所有的所述应急处理方案发送给所述预警执行单元；所述预警执行单元用于执行不同类型的应急处理方案，并将所述应急处理方案对应的预警配置发送给后台处理单元；所述后台处理单元用于根据所述预警配置触发预警通知服务，并更新所述日志数据库。

13、所述的基于日志采集的监控预警系统，其中，所述日志数据库的信息包括：日志id、实体id、未更新数值和已更新数值。

14、所述的基于日志采集的监控预警系统，其中，所述操作日志包括：页面访问日志、按钮点击日志和页面元素选择日志。

15、此外，本发明还提供一种基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述基于日志采集的监控预警系统的基于日志采集的监控预警方法包括：

16、所述数据定义模块定义业务实体和行为埋点，所述数据监听模块基于所述业务实体采集接口调用日志，基于所述行为埋点采集操作日志，并将所述接口调用日志储存至日志数据库；

17、所述数据分析模块对所述操作日志进行分类得到分类结果，并根据所述分类结果查找应急处理库得到不同类型的应急处理方案，所述预警响应模块执行每个所述应急处理方案，并更新所述日志数据库。

18、所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述获取业务实体和行为埋点，之后还包括：

19、若所述数据变更模块接收所述业务实体的变更请求，所述数据变更模块调用系统接口，并基于所述系统接口对所述业务实体进行更新，得到目标业务实体。

20、所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述对所述操作日志进行分类得到分类结果，之后还包括：

21、所述数据分析模块提取分类结果中错误日志，对所述错误日志进行归集，并根据规则路由对归集后的错误日志进行处理。

22、本发明的所述基于日志采集的监控预警系统包括：数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；所述数据定义模块分别与所述数据变更模块和所述数据监听模块连接，所述数据变更模块与所述数据监听模块连接，所述数据监听模块与所述数据分析模块连接，所述数据分析模块与所述预警响应模块连接；所述数据定义模块用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块，将所述行为埋点发送给数据监听模块；所述数据变更模块用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块；所述数据监听模块用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块，并将所述接口调用日志储存至日志数据库；所述数据分析模块用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块；所述预警响应模块用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。本发明通过基于日志采集的监控预警系统可以进行实时预警，有效提高监控预警的准确率和时效性。

技术特征：

1.一种基于日志采集的监控预警系统，其特征在于，所述基于日志采集的监控预警系统包括：数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；

2.根据权利要求1所述的基于日志采集的监控预警系统，其特征在于，所述数据定义模块包括定义单元和第一发送单元；

3.根据权利要求1所述的基于日志采集的监控预警系统，其特征在于，所述数据变更模块包括更新单元和第二发送单元；

4.根据权利要求1所述的基于日志采集的监控预警系统，其特征在于，所述数据分析模块包括分类单元和第三发送单元；

5.根据权利要求1所述的基于日志采集的监控预警系统，其特征在于，所述预警响应模块包括预警查找单元、预警执行单元与后台处理单元，其中，所述预警查找单元、所述预警执行单元与所述后台处理单元之间依次连接；

6.根据权利要求5所述的基于日志采集的监控预警系统，其特征在于，所述日志数据库的信息包括：日志id、实体id、未更新数值和已更新数值。

7.根据权利要求1所述的基于日志采集的监控预警系统，其特征在于，所述操作日志包括：页面访问日志、按钮点击日志和页面元素选择日志。

8.一种基于权利要求1-7任一项所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其特征在于，所述基于日志采集的监控预警方法包括：

9.根据权利要求8所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其特征在于，所述数据定义模块定义业务实体和行为埋点，之后还包括：

10.根据权利要求8所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其特征在于，所述数据分析模块对所述操作日志进行分类得到分类结果，之后还包括：

技术总结
本发明公开了一种基于日志采集的监控预警系统及方法，所述系统包括：数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；数据定义模块用于定义业务实体和行为埋点；数据变更模块用于对业务实体进行处理得到目标业务实体；数据监听模块用于基于目标业务实体获取接口调用日志，基于行为埋点获取操作日志，将操作日志发送给数据分析模块，并将接口调用日志储存至日志数据库；数据分析模块用于对操作日志进行分类得到分类结果，并将分类结果发送给预警响应模块；预警响应模块用于根据分类结果执行应急处理方案，并更新日志数据库。本发明通过基于日志采集的监控预警系统可以进行实时预警，有效提高监控预警的准确率和时效性。

技术研发人员：王雷,谢凤,文豪,冯轲
受保护的技术使用者：深圳市酷开网络科技股份有限公司
技术研发日：
技术公布日：2024/3/5