一种数据监控方法、装置、计算设备及存储介质与流程

本发明涉及互联网，特别涉及一种数据监控方法、装置、计算设备及存储介质。

背景技术：

1、在生产和运营中，通过对日志数据、业务数据的监控，可及时掌握各项业务指标数据的最新变化，了解和分析业务运行状态，及时发现商机与问题。但随着业务的不断发展，用户量、业务规模及业务复杂度都在快速增长，各类数据的数据量也在加速膨胀。当日新增数据量达到上亿规模时，数据的监控及统计就会比较困难。

2、目前，通常会采用两类方法对数据进行监控，第一类是基于elasticsearch(一种分布式搜索和分析引擎)的技术方案，使用logstash(一款轻量级的数据收集引擎)收集日志数据并将其存入elasticsearch，以便elasticsearch监控及统计日志数据，利用kibana(一款开源的数据分析和可视化平台)对日志数据进行可视化分析。

3、该类方法可以轻松处理海量数据，分析日志简单直观，还能配合elastalert(一款可用于监控告警的框架)从elasticsearch中的数据发现异常等，以实现数据告警。然而，由于elasticsearch只能在同一个索引进行检索，不同索引的数据无法关联，需要关联的数据则必须先聚合再生成索引，才能一起查询，难以达到应关联的多个数据进行统计的要求，对监控性能有所影响。

4、第二类是以流式处理框架为基础的技术方案，能够根据预定义的处理规则对数据进行监控，并快速统计实时数据，对于数据的实时批量分析可提供很好的支持，可以满足高效的数据管道类的引用。但是，数据的处理规则依赖于预先定义，对经常变化的需求无法及时做出响应，而且，回溯历史数据也不太方便。

5、因此，需要一种新的数据监控方法来优化上述处理过程。

技术实现思路

1、为此，本发明提供一种数据监控方案，以力图解决或者至少缓解上面存在的问题。

2、根据本发明的一个方面，提供一种数据监控方法，适于在计算设备中执行，计算设备分别与第一服务器、第一数据库服务器和第二数据库服务器通信连接，第一服务器、第一数据库服务器和第二数据库服务器上分别部署有配置平台、第一数据库和第二数据库，配置平台预先配置有数据同步配置和任务配置，该方法包括如下步骤：首先，定时从配置平台读取数据同步配置，根据数据同步配置同步对应数据源中的业务数据至第一数据库；接收配置平台下发的任务配置，基于任务配置生成待执行的定时任务；执行定时任务，以对第一数据库中的数据进行定时监控及统计，并获取统计结果，第一数据库中的数据包括业务数据和日志数据；将统计结果保存至第二数据库。

3、可选地，在根据本发明的数据监控方法中，任务配置关联有对应的任务标识，任务配置包括监控及统计模板和执行时间规则，基于任务配置生成待执行的定时任务，包括：基于监控及统计模板和执行时间规则，生成按照执行时间规则定时进行数据监控及统计的任务；将生成的任务作为待执行的定时任务，并与任务标识关联。

4、可选地，在根据本发明的数据监控方法中，执行定时任务，以对第一数据库中的数据进行定时监控及统计，并获取统计结果，包括：通过任务标识获取分布式锁；获取分布式锁成功后，利用监控及统计模板定时监控及统计第一数据库中的数据，以获取统计结果，并将统计结果与任务标识关联。

5、可选地，在根据本发明的数据监控方法中，第一服务器和第一数据库服务器还分别与第二服务器通信连接，第二服务器还与第三服务器通信连接，第二服务器和第三服务器上分别部署有流处理引擎和消息系统，日志数据由流处理引擎从消息系统消费到第一数据库。

6、可选地，在根据本发明的数据监控方法中，消息系统同步有系统日志，配置平台预先还配置有日志分类配置，日志数据由流处理引擎从消息系统消费到第一数据库，包括：通过流处理引擎，定时从配置平台读取日志分类配置；根据日志分类配置，消费消息系统中的消息队列，从系统日志中筛选出目标日志作为日志数据，并写入第一数据库。

7、可选地，在根据本发明的数据监控方法中，配置平台预先还配置有告警配置，告警配置关联有对应的任务标识，告警配置包括告警模板，方法还包括：从配置平台读取任务标识关联的全部告警配置；根据读取到的告警配置进行统计结果对比，以判断是否需要告警；若需要告警，则使用对应的告警模板触发告警。

8、可选地，在根据本发明的数据监控方法中，告警配置还包括数据对比的时间差值和告警阈值，根据读取到的告警配置进行统计结果对比，以判断是否需要告警，包括：遍历读取到的告警配置；根据遍历到的告警配置中的数据对比的时间差值，从第二数据库中获取定时任务之前的统计结果作为第一结果，将任务标识关联的统计结果作为第二结果；若第一结果与第二结果的差值的绝对值大于告警阈值，则判断需要告警，否则判断不需要告警。

9、根据本发明的又一个方面，提供一种数据监控装置，适于驻留在计算设备中，计算设备分别与第一服务器、第一数据库服务器和第二数据库服务器通信连接，第一服务器、第一数据库服务器和第二数据库服务器上分别部署有配置平台、第一数据库和第二数据库，配置平台预先配置有数据同步配置和任务配置，该装置包括同步模块、生成模块、执行模块和保存模块。其中，同步模块适于定时从配置平台读取数据同步配置，根据数据同步配置同步对应数据源中的业务数据至第一数据库；生成模块适于接收配置平台下发的任务配置，基于任务配置生成待执行的定时任务；执行模块适于执行定时任务，以对第一数据库中的数据进行定时监控及统计，并获取统计结果，第一数据库中的数据包括业务数据和日志数据；保存模块适于将统计结果保存至第二数据库。

10、根据本发明的又一个方面，提供了一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行如上所述的数据监控方法的指令。

11、根据本发明的又一个方面，提供了一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行如上所述的数据监控方法。

12、根据本发明的数据监控方案，定时从配置平台读取数据同步配置，根据数据同步配置同步对应数据源中的业务数据至第一数据库，基于配置平台下发的任务配置生成待执行的定时任务，执行定时任务，以对第一数据库中的数据进行定时监控及统计，获取统计结果并将其保存至第二数据库，通过简单的任务配置及时响应需求变更，实现了快速、灵活、实时的海量数据监控。

13、在上述技术方案中，第一数据库中的数据包括业务数据和日志数据，日志数据来源于流处理引擎，流处理引擎根据配置平台预先配置的日志分类配置，将消息系统中对应的系统日志消费到第一数据库，完成了数据的分类保存，在不调整数据结构的前提下支持集群内的跨库、跨表的数据联合检索，使用方便。

14、此外，配置平台还配置有告警配置，若判断当前任务需要告警，则会根据告警配置触发告警，轻松满足分钟级、甚至秒级的告警需求。由于配置平台中保存有各类不同的配置，且配置实时生效，则通过配置化管理的监控、统计及告警任务，可从容面对多变的需求，业务的相应时间也大大缩短。