一种基于企业微信的数据预警监控方法及系统与流程

1.本发明涉及计算机软件开发领域，特别是涉及一种基于企业微信的数据预警监控方法及系统。


背景技术：

2.随着金融科技的高速发展，在各个领域的分析研究中都需要大量的数据支撑，而数据来源更是多种多样。各种数据来自于集散中心、异地数据库、线上网站、手机app应用，而对于海量数据的每日增量进行监控则无法避免地需要重视。大多数金融公司的数据监控都是通过一些硬性的规则触发邮件来进行报警通知，但是邮件容易淹没在浩瀚的收件箱中，显然让开发者错过重要的报警是得不偿失的。因此，本发明融合了企业微信和校验中间件进行了数据的预警监控，解决了校验规则单一、报警不及时的问题，让开发者、产品相关人员第一时间了解数据增量的异常，并且及时进行相应的补救修复。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于企业微信的数据预警监控方法及系统，解决数据预警不及时、覆盖面不全、数据校验规则单一、预警逻辑不明确的问题；通过可视化界面进行预警任务的相关配置、校验逻辑的添加，结合全面的校验映射、校验中间件，使得不符合预期的数据增量、全量任务第一时间通知到开发、产品相关人员，让其进行最及时的处理补救，把数据缺失、异常的问题及时暴露，提高了效率，也降低了查错成本。
4.本发明提供一种基于企业微信的数据预警监控方法，所述方法包括以下步骤：
5.步骤1：通过企业微信终端登录预警监控web端进行可视化界面显示，通过可视化界面新建预警监控任务，配置元信息；
6.步骤2：通过可视化界面对新建的预警监控任务进行规则配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；
7.步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端。
8.于本发明的一实施例中，所述元信息包括任务名称、任务状态、任务监控时间、任务对应的预警消息。
9.于本发明的一实施例中，所述monitor_exist模块用于监控新数据；所述monitor_field模块用于监控新数据的字段缺失比例；所述count_data模块用于查看新数据的条数；所述empty_field模块用于查看新数据的字段缺失比例；所述sql_compare模块用于将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息。
10.本发明提供一种基于企业微信的数据预警监控系统，所述系统包括预警监控web
端、校验中间件以及消息推送件；
11.所述预警监控web端用于可视化界面显示，并且通过可视化界面新建预警监控任务，配置元信息，配置预警监控任务规制，查看预警监控任务历史日志；
12.所述校验中间件用于监控新数据，监控新数据的字段缺失比例，查看新数据条数，将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息；
13.所述消息推送件用于将预警消息推送到预警监控web端。
14.于本发明的一实施例中，所述校验中间件包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块。
15.如上所述，本发明的一种基于企业微信的数据预警监控方法及系统具有以下有益效果：本发明通过可视化界面能够方便快捷的进行数据校验预警任务的配置，及时有效地将数据任务的成功与否通知到开发、产品相关人员，极大地提高了数据开发人员的效率，尽早地对异常进行处理。
附图说明
16.图1显示为本发明实施例中公开的基于企业微信的数据预警监控系统的结构框图。
17.图2显示为本发明实施例中公开的校验中间件的工作示意图。
具体实施方式
18.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
19.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
20.本发明提供一种基于企业微信的数据预警监控方法，所述方法包括以下步骤：
21.步骤1：通过企业微信终端使用账号登录预警监控web端，进行账号可视化界面显示；并且通过可视化界面新建预警监控任务，配置元信息，其中，所述元信息包括任务名称、任务状态、任务监控时间、任务对应的预警消息(成功是否发送通知信息，失败是否循环发送通知信息和备注信息)。
22.步骤2：通过可视化界面对新建的预警监控任务进行规则配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；
23.其中，所述monitor_exist模块用于监控最近时间段内是否有新数据；所述monitor_field模块用于监控新数据字段缺失比例；所述count_data模块用于按照时间段
或者全表查看新数据的条数是否符合预期；所述empty_field模块用于查看最近时间段内或者全表新数据的字段缺失比例；所述sql_compare模块用于将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息。
24.步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端；与此同时，可以通过预警监控web端查看账户预警监控任务的相关日志，通过企业微信终端推送的预警信息中查看相关预警日志。
25.请参阅图1，本发明提供一种基于企业微信的数据预警监控系统，所述系统包括预警监控web端、校验中间件以及消息推送件；
26.所述预警监控web端用于可视化显示界面，并且通过可视化界面新建预警监控任务，配置元信息，配置预警监控任务规制，查看预警监控任务历史日志；
27.所述校验中间件用于监控新数据，监控新数据的字段缺失比例，查看新数据条数，将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息；
28.所述消息推送件用于预警消息推送到预警监控web端，即对于成功或者失败的任务，按照人员相关配置进行企业微信的预警消息推送，被推送人员可以在各自账号的企业微信终端看到相关任务的预警消息。
29.其中，所述校验中间件主要包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块。
30.具体的，所述校验中间件用于时间映射、时间过滤、专属id映射、任务过滤、监控存在过滤、监控字段过滤、字段条数过滤、空字段过滤、自定义比较过滤、最终映射，请参阅图2。
31.综上所述，本发明解决了数据预警不及时、覆盖面不全、数据校验规则单一、报警逻辑不明确的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
32.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。