基于任务调度实现指标数据自动校验的方法
【专利摘要】本发明公开了一种基于任务调度实现指标数据自动校验的方法：梳理全部需要接入的指标清单，根据指标的接收频率和指标数据单位，划分指标范围，提取校验及时性较高的和指标接收频率较快的指标；制定一套任务调度规则，保证任务的执行频率和指标数据的接收时间点保持一致；在数据采集入库后，由任务调度配置相应的规则，实现对入库指标的校验，检查数据接收的及时性、数据类型的正确性、数据阀值的合规性；通过配置指标间的规则形成新的复合指标，通过复合指标和待校验指标数据比较确定是否正确；指标校验产生的校验结果通过日常告警统一对用户显示，由用户重新确认指标数据，或者关闭告警。该方法通过配置化校验规则，提升效率。
【专利说明】[0001] 基于任务调度实现指标数据自动校验的方法
【技术领域】
[0002] 本发明涉及一种数据库数据校验方法，具体地说是一种基于任务调度实现指标数 据自动校验的方法。
[0003] 在业务系统在上报的各种数据按照事先约定的周期上报，上报完成后的数据往往 通过人工的方式对数据本身的合法性进行确认，其中确认过程较为繁琐，甚至需要多次确 认，为了减少人工校验操作，本发明采用基于任务调度实现多种频率的数据质量的校验，节 约人力成本，有效提升了工作效率。
【背景技术】
[0004] 目前信息化系统的使用成为企业有效、规范的进行业务操作，指标成为体现工作 成果的一个比较关键的因数，指标数据的校验成为重要的环节，其中常见的校验规则有数 据及时性、数据合法性、数据阀值和数据质量等。按照校验规则基本可以分为两个部分：指 标基本校验、指标业务校验。
[0005] 现有技术中，业务系统上报的各种数据按照事先约定的周期上报，上报完成后的 数据往往通过人工的方式对数据本身的合法性进行确认，其中确认过程较为繁琐，甚至需 要多次确认，指标数据采用人工校验的方式缺点是：不能及时进行校验，而且校验人员的工 作量大。
【发明内容】
[0006] 为了解决指标数据人工校验的不及时，缓解校验人员的工作量，本发明的目的是 提供一种基于任务调度实现指标数据自动校验的方法，该方法通过配置化校验规则，提升 效率。
[0007] 本发明的目的通过以下技术方案实现： 一种基于任务调度实现指标数据自动校验的方法，其特征在于该方法包括以下步骤： 1) 梳理全部需要接入的指标清单，根据指标的接收频率和指标数据单位，划分指标范 围，提取校验及时性较1?的和指标接收频率较快的指标； 2) 制定一套任务调度规则，保证任务的执行频率和指标数据的接收时间点保持一致； 3) 在数据采集入库后，由任务调度配置相应的规则，实现对入库指标的校验，检查数据 接收的及时性、数据类型的正确性、数据阀值的合规性； 4) 通过配置指标间的规则形成新的复合指标，通过复合指标和待校验指标数据比较确 定是否正确； 5) 指标校验产生的校验结果通过日常告警统一对用户显示，由用户重新确认指标数 据，或者关闭告警。
[0008] 本发明采用基于任务调度实现多种频率的数据质量的校验，减少人工校验操作， 节约人力成本，有效提升了工作效率。
【专利附图】
【附图说明】
[0009] 图1是基于任务调度实现指标数据自动校验的方法流程图。
【具体实施方式】
[0010] 一种基于任务调度实现指标数据自动校验的方法，创建一个任务调度控制器，并 在控制器中提供可配置化的指标数据校验规则，通过设置产生各种频率的任务，实现对数 据库中对应的数据的扫描校验，代替人工数据校验，具体如下： 1、梳理全部需要接入的指标清单，重点了解指标的接收频率和指标数据单位。合理划 分指标范围，提取校验及时性较高的和指标接收频率较快的指标。
[0011] 在任务调度控制器创建配置校验规则和任务执行频率，比如：制定一个频率为5 分钟，规则为数据不为空，且要求指标A=指标B+指标C的条件。
[0012] 2、设计一套任务调度规则，保证任务的执行频率和指标数据的接收时间点保持一 致。在数据采集入库后，由任务调度配置相应的规则，实现对入库指标的校验，重点检查数 据接收的及时性、数据类型的正确性、数据阀值的合规性。
[0013] 任务启动后，主动去数据控中扫描指标频率为5分钟的指标数据，并判断指标的 数据是否为空，并将指标值做A=B+C的校验判断。
[0014] 3、如果指标的数据为空，这将该指标的信息和检查时间存储到告警模块中，并及 时提醒用户，待用户手动确认后关闭该告警。
[0015] 如果指标数据不为空则在告警模块中存储A=B+C不满足条件的判断。
[〇〇16] 4、如果校验的数据合法，则直接退出，无需人工干预。
【权利要求】
1. 一种基于任务调度实现指标数据自动校验的方法，其特征在于该方法包括以下步 骤： 1) 梳理全部需要接入的指标清单，根据指标的接收频率和指标数据单位，划分指标范 围，提取校验及时性较1?的和指标接收频率较快的指标； 2) 制定一套任务调度规则，保证任务的执行频率和指标数据的接收时间点保持一致； 3) 在数据采集入库后，由任务调度配置相应的规则，实现对入库指标的校验，检查数据 接收的及时性、数据类型的正确性、数据阀值的合规性； 4) 通过配置指标间的规则形成新的复合指标，通过复合指标和待校验指标数据比较确 定是否正确； 5) 指标校验产生的校验结果通过日常告警统一对用户显示，由用户重新确认指标数 据，或者关闭告警。
【文档编号】G06F17/30GK104112014SQ201410343367
【公开日】2014年10月22日 申请日期:2014年7月18日 优先权日:2014年7月18日
【发明者】费建法, 杜淳, 李辉 申请人:国家电网公司, 江苏省电力公司, 江苏电力信息技术有限公司, 江苏省电力公司信息通信分公司