一种企业大数据业务报表自动化监控方法与流程

1.本发明涉及数据监控领域，尤其是涉及一种企业大数据业务报表自动化监控方法。


背景技术：

2.在以往的企业生产决策过程中，数据报表还没出现时，企业领导层在做决策的时候往往只是根据个人感觉和习惯来进行实施。而数据报表的出现，是一个划时代的变革，一款优质的数据报表，可以直观的体现数据，对企业经营决策起到至关重要的作用，报表核心的作用在于呈现数字，数字呈现的作用在于展示企业以及社会的现状；公司领导层，可通过数据报表可视化图形，快速地做出决策。
3.随着互联网技术的快速发展，企业数据量大并且数据更加复杂，各企业的报表呈现出类型多样化、报表数据指标多、报表数据时效不同等特征，因此企业需要对每一个报表的核心指标数据进行监控，一般会采用单一的shell脚本代码在服务器后台定时轮询报表中各指标对应的接口数据，对比查看核心报表的各项数据指标是否存在异常，以此实现数据指标监控。现有的监控模式单一，监控规则和监控周期难以灵活配置，只能定时以确定的规则监控，而且自动化脚本代码通用性差且不易维护，当有新的报表指标需要监控时，则要再独立开发和独立维护一份新的监控代码，代码开发量大、代码维护成本高。此外，对于相同报表中的同一个接口，只与一种参数匹配，数据指标数量多时接口的配置时间长，配置成本高。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种企业大数据业务报表自动化监控方法，方法采用灵活快速地配置报表接口地址和接口参数，配置后自动生成完整的接口访问地址，再通过正则表达式和基础标记法去解析和标记接口返回的结果数据，实现全局自动化监控。
5.本发明的目的可以通过以下技术方案来实现：
6.一种企业大数据业务报表自动化监控方法，方法包括以下步骤：
7.s1、获取不同报表的不同种类的核心指标数据；
8.s2、对核心指标数据进行数据配置，将每个报表对应一个接口地址，每个接口地址对应其映射的唯一主键，每个接口地址对应多个接口参数，每个接口参数对应一种核心指标数据；
9.s3、在预配置的不同的调度频率下，基于主键获取接口地址，通过接口参数和接口地址拼接获取报表中的所需的核心指标数据，若所需的核心指标数据的指标路径不唯一，则基于不同的正则表达式对所需的核心指标数据解析响应报文，得到解析后的结果，执行s4；若所需的核心指标数据的指标路径唯一，则进行基础标记，解析响应报文，得到解析后的结果，执行s4；
10.s4、将解析后的结果拆分成定长的字符数据进行aes加密，将加密后的数据存入mysql数据库，所述mysql数据库中还包括历史数据；
11.s5、配置监控条件，进行预警监控，得到监控结果，所述监控条件包括指标关联关系、监控阈值、监控时效、监控属性和预警优先级；
12.预警监控过程中，通过配置的监控条件访问mysql数据库中的数据，得到需要监控的数据并判断数据是否出发告警，告警的结果作为监控结果。
13.进一步地，所需的核心指标数据为字符串，若所需的核心指标数据的指标路径不唯一，基于不同的正则表达式对核心指标数据解析响应报文，得到字符串的具体值，所述具体值为解析后的结果。
14.进一步地，s1中的核心指标数据包括离线数据和实时数据。
15.进一步地，实时数据基于大数据平台在保证实时数据不丢失的情况下实时采集获得。
16.进一步地，通过保存消费者偏移量信息、端到端上下游幂等性、源数据备份或离线补偿方式中的一种或多种保证实时数据不丢失。
17.进一步地，不同的调度频率为每天一次、每小时一次或每分钟一次。
18.进一步地，将加密后的数据存入mysql数据库的过程中，通过数据库连接池直连对应的mysql数据库，访问mysql已有的数据表，将加密后的数据存入访问的数据表中。
19.进一步地，配置监控条件后，将配置的监控条件作为服务打成jar包，所述jar包中包括前端文件，用于前端文件监控结果的显示。
20.进一步地，预警监控的过程中，对mysql数据库中的数据进行周期性定时清理。
21.进一步地，方法还包括，得到监控结果后，基于监控结果和历史数据评价鲁棒性，基于鲁棒性评价结果调试监控条件。
22.与现有技术相比，本发明具有以下优点：
23.(1)相同报表中的一个接口根据不同的接口参数，实际可回传多个数据指标，设计相同的接口地址可对应多个不同的接口参数，节约接口配置时间，降低配置成本。
24.(2)监控条件可以灵活自定义配置管理，在特定的监控需求场景下，可自定义配置监控条件，以便能够满足不同场景下的业务监控需求。
25.(3)在不同的调度频率下获取核心指标数据，能够按照配置的监控周期定时自动执行，可满足不同频率的监控需求。
26.(4)选择不同的接口地址可以连接不同的报表，支持跨报表指标数据比对，可确保同一指标数据在不同报表上的计算结果保持一致。
附图说明
27.图1为本发明的流程图；
28.图2为本发明的数据来源图；
29.图3为本发明的数据库的交互流程图；
30.图4为本发明的配置监控条件的示例图。
具体实施方式
31.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
32.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.实施例1：
34.本发明提供一种企业大数据业务报表自动化监控方法，方法流程图如图1所示。方法包括以下步骤：
35.s1、获取不同报表的不同种类的核心指标数据。s1的数据来源如图2所示。
36.s1中的核心指标数据包括离线数据和实时数据，实现离线和实时的全局自动化监控。实时数据基于大数据平台在保证实时数据不丢失的情况下实时采集获得。通过保存消费者偏移量信息、端到端上下游幂等性、源数据备份或离线补偿方式中的一种或多种保证实时数据不丢失。
37.s1中的核心指标数据的数据种类包括用户交易数据、用户行为日志数据等。核心指标数据包括交易额、访问页面uv、访问页面pv等，报表类型包括总报表、年报表、月报表、日报表以及实时报表。所有数据源依托于大数据平台实现流批统一存储和计算，核心数据指标在自动化监控平台上进行报表展示。数据来源于数据仓库，依托于大数据平台的sqoop、hdfs、yarn、hive、sparksql实现海量离线数据的分布式存储和计算，依托于大数据平台的kafka、flink、storm、sparkstreaming实现实时数据的分布式存储和计算。
38.s2、对核心指标数据进行数据配置，将每个报表对应一个接口地址，每个接口地址对应其映射的唯一主键，每个接口地址对应多个接口参数，每个接口参数对应一种核心指标数据。
39.数据配置基于自动化监控平台实现。自动化监控平台后端模块采用主流的java后端框架，即springboot+mybatis搭建，使用maven服务于项目的构建和依赖管理。数据配置包括接口地址、接口参数、报表名称、编号等配置。
40.s2中，相同报表中的一个接口根据不同的接口参数，实际可回传多个数据指标，因此设计相同的接口地址可对应多个不同的接口参数，节约接口配置时间，降低配置成本，此方案可实现pc端、手机移动端多平台地址调用，缩短配置流程。s2的主键唯一，便于关联获取接口地址。
41.s3、在预配置的不同的调度频率下，基于主键获取接口地址，通过接口参数和接口地址拼接获取报表中的所需的核心指标数据，若所需的核心指标数据的指标路径不唯一，则基于不同的正则表达式对所需的核心指标数据解析响应报文，得到解析后的结果，执行s4；若所需的核心指标数据的指标路径唯一，则进行基础标记，解析响应报文，得到解析后的结果，执行s4。
42.选择接口地址并且添加接口参数，即可定位到具体监控指标，通过串行访问接口，
可以按照每天一次、每小时一次或每分钟一次的不同的调度频率获取所需的核心指标数据。调度频率可以按照具体的要求任意设置。
43.采集得到的所需的核心指标数据为json字符串，通过解析响应报文解析核心指标数据得到字符串的具体值，具体值作为解析后的结果。基于不同的正则表达式解析响应报文是由于采集得到的所需的核心指标数据为字符串，因此数据格式可能不同，如果格式不一样，就要编写不同的正则表达式去解析接口返回的整段数据格式，得到字符串的具体值。数据格式是否不同通过指标路径是否唯一判断，也就是通过json字符串的key是不是唯一判断。key唯一的话就是指标路径唯一，否则不唯一。
44.进行基础标记是用具体的数字标记，可以理解为list列表的下表索引，例如0、1等数字标记。
45.s4、将解析后的结果拆分成定长的字符数据进行aes加密，将加密后的数据存入mysql数据库，mysql数据库中还包括历史数据。
46.将加密后的数据存入mysql数据库的过程中，通过数据库连接池直连对应的mysql数据库，访问mysql已有的数据表，将加密后的数据存入访问的数据表中。已有的数据表的sql代码统一维护在mybatis的配置文件里面。mysql数据库中包括的历史数据便于历史指标分析和测试场景下的性能稳定性指标比对。
47.将加密后的数据存入mysql数据库的交互流程如图3所示。与mysql数据库的交互通过java的后端框架也就是图上的controller层、servicer层、dao层、mapper层进行处理。
48.s5、配置监控条件，进行预警监控，得到监控结果，监控条件包括指标关联关系、监控阈值、监控时效、监控属性和预警优先级。配置监控条件的示例如图4所示。
49.预警监控时，通过配置的监控条件访问mysql数据库中的数据，得到需要监控的数据并判断数据是否出发告警，告警的结果作为监控结果。
50.配置监控条件后，将配置的监控条件作为服务打成jar包，jar包中包括前端文件，用于前端文件监控结果的显示。预警监控的过程中，对mysql数据库中的数据进行周期性定时清理，减少不必要的存量数据消耗数据库存储空间。
51.s5执行完成，得到监控结果后，基于监控结果和历史数据评价鲁棒性，基于鲁棒性评价结果调试监控条件。
52.波动率通常用来作为鲁棒性指标，它的值越小的话就表示鲁棒性越好，也即该监控方法的稳定性越好。计算公式如下：
[0053][0054]
上式中，e表示鲁棒性指标，r
avg
是测试中多次发现问题个数的平均值，r
opt
是测试中多次发现问题个数的最优值，可从mysql提取所有历史数据指标计算平均值和最优值，再通过平均值和最优值计算鲁棒性指标。
[0055]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。