一种多数据源环境下数据缺失自动检查及集中监控方法
【技术领域】
[0001] 本发明涉及企业数据质量领域，尤其涉及电力系统实时数据的质量检查，更具体 地说，本发明涉及一种多数据源环境下数据缺失自动检查及集中监控方法。
【背景技术】
[0002] 国家电网华东分部目前建有4套数据中心，D5000调度自动化系统的SCADA(数据 采集与监控）实时数据是数据中心中最重要的数据之一，该数据包含电网重要一次设备十 几种遥信遥测数据，要求实时接入数据中心。在这4套数据中心中，由于功能要求不同，接 入数据的频度也不同，有的是1分钟断面（1分钟接入1次），有的是15分钟断面，但都要求 数据准确无误的接入；如果有数据丢失，需要及时发现并进行数据补缺。这就需要有一种方 法，能对数据入库情况进行监控，及时发现数据丢失并反馈，由于数据中心比较多，最好能 对4套数据中心统一进行监控。
[0003] 监控类系统目前在各种生产系统中应用的比较多，但都基于各自的实际需要对一 些重要指标进行监控，并在指标达到限值时进行报警，但针对数据缺失检查，特别是针对 D5000调度自动化系统的SCADA数据缺失检查的系统或方法还没有。
[0004] 对于将多个系统数据汇总到一起，目前市场上成熟的工具比较多，如 ETL(Extract-Transform-Load，抽取-转换-加载）工具、Teiid等，可使用这些工具实现4 套数据中心的统一监控。但是，现有的这些工具仍然无法解决多数据源数据丢失情况的集 中监控。
【发明内容】
[0005] 本发明所要解决的技术问题是针对现有技术中存在上述缺陷，由此本发明提供一 种定时丢点扫描方法来实现对数据丢失情况的自动检查，然后将4套数据中心的缺失数据 汇总在一起，并开发成报表，从而实现对4套数据中心数据丢失情况的集中监控，解决了多 数据源数据丢失情况的集中监控问题。
[0006] 为了实现上述技术目的，根据本发明，提供了一种多数据源环境下数据缺失自动 检查及集中监控方法，包括：第一步骤：执行定时查缺处理，其中例如通过程序对多套数据 中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保 存起来；第二步骤：执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将 不同数据中心的丢点数据汇总到一起以形成总丢点文件；第三步骤：执行集中监控处理， 其中使用报表工具将总丢点文件展示出来。
[0007] 优选地，在第一步骤中，在执行定时查缺处理的过程中，对数据中心接入的调度自 动化系统的实时数据表进行定时扫描，以查找丢点数据的丢点文件名。
[0008] 优选地，第二步骤中使用ETL工具执行数据汇总处理。
[0009] 优选地，在第一步骤中，首先根据实时数据的断面类型和时间范围生成全量时间 点，随后根据全量时间点判断数据是否是丢点数据，并且获取被判断为丢点数据的数据的 丢点时间。
[0010] 优选地，在第一步骤中，还进一步将丢点时间转化为丢点文件名。
[0011] 优选地，总丢点文件中标明了各丢点数据的来源。
[0012] 优选地，所述来源由丢点数据的数据中心的名称表示。
[0013] 优选地，在第三步骤中，就总丢点文件集中处理以得到统计报表和详细报表，并且 将统计报表和详细报表展示出来。
[0014] 优选地，所述多套数据中心为四套数据中心。
[0015] 优选地，所述实时数据为SCADA实时数据。
【附图说明】
[0016] 结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解 并且更容易地理解其伴随的优点和特征，其中：
[0017] 图1示意性地示出了根据本发明优选实施例的多数据源环境下数据缺失自动检 查及集中监控方法的总体流程图。
[0018] 图2示意性地示出了根据本发明优选实施例的数据扫描和集中监控结构图。
[0019] 图3示意性地示出了根据本发明优选实施例的扫描丢点数据过程示例的示意过 程。
[0020] 图4示意性地示出了根据本发明优选实施例的定时执行丢点扫描示例的示意过 程。
[0021] 需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可 能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
【具体实施方式】
[0022] 为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内 容进行详细描述。
[0023] 图1示意性地示出了根据本发明优选实施例的多数据源环境下数据缺失自动检 查及集中监控方法的总体流程图。图2示意性地示出了根据本发明优选实施例的数据扫描 和集中监控结构图。
[0024] 具体地说，在实时数据监控时，首先需要找到缺失数据，然后再将缺失数据汇总起 来，最后用可视化手段将缺丢数据展示出来供运维人员监控。如图1和图2所示，根据本发 明优选实施例的多数据源环境下数据缺失自动检查及集中监控方法包括：
[0025] 第一步骤S1 :执行定时查缺处理，其中例如通过程序对数据中心接入的调度自动 化系统（例如D5000)的实时数据（例如SCADA实时数据）表进行定时扫描，以查找丢点数 据（数据没有正常接入的文件名）并将丢点数据保存起来。
[0026] 其中，优选地，在第一步骤S1中，在执行定时查缺处理的过程中，对数据中心接入 的调度自动化系统的SCADA实时数据表进行定时扫描，以查找丢点数据的丢点文件名，其 具体过程的一个示例可以参见如图3所示。
[0027] 具体地，定时执行扫描工作是保证查缺自动化执行的必要条件，过程如图4所示， 其中程序定义要完成的任务，调度程序定义时间频率，由此使得任务定时执行任务。
[0028] 第二步骤S2 :执行数据汇总处理，其中在得到4套数据中心（如图2所示的第一数 据中心11、第二数据中心12、第三数据中心13和第四数据中心14)的各自的丢点数据后， 将不同数据中心的丢点数据汇总到一起以形成总丢点文件30 ;在优选实施例中，可以使用 ETL工具执行数据汇总处理。在本说明书中以4套数据中心为示例说明了本发明的原理，但 是显然本发明也适用于其它数量的数据中心的情况。
[0029] 第三步骤S3 :执行集中监控处理，其中使用报表工具将总丢点文件30展示出来。 这样，运维人员通过该报表就能实现对实时数据集中监控。
[0030] 下面将具体描述本发明的具体优选示例。
[0031] 〈第一步骤S1的定时查缺处理〉
[0032] 在进行定时查缺时，分为扫描丢点数据和自动执行扫描两部分内容，下面分别进 行介绍。
[0033] 1、扫描丢点数据
[0034] 从前面的背景介绍可知，各数据中心都接入D5000调度自动化系统的SCADA的实 时数据，但时间断面不同，因此在扫描时，需根据不同的设备、时间断面类型采用不同的扫 描策略，执行过程的一个具体示例如图3所示。
[0035] 在图3所示的扫描过程中，有几点比较重要：
[0036] (1)全量时间点：在丢点扫描前，可以根据实时数据的断面类型和时间范围生成 全量时间点，如15分钟断面，例如查询时间为2015-3-25 00:00~2015-3-25 23:59的时 间点为 2015-3-25 00:00、2015-3-25 00:15、...dOlSUS23:45 共计 96 个时间点。全 量时间点对扫描丢点数据非常重要，它是比较的基准值，如果在比较时发现全量时间点有 这个时间点，而设备表缺少该时间点，可判定该点数据丢失。
[0037] (2)抽样设备：在查询设备时间点时，用到了抽样设备、查询时间范围这两个约束 条件，主要是为减少查询的数据量，提高执行效率。这里的抽样设备是事先精选的，要求代 表着不同厂站重要的设备，且不会同时出现设备无数据情况，选择3个抽样设备既保证执 行效率又保证时间点出现与否准确无误。
[0038] (3)丢点时间转化为丢点文件：在全量时间点和设备时间点比较时，得到的是丢 点时间，在保存丢点数据时，优选地根据查询的设备将丢点时间转化为丢点文件名，这是因 为扫描的结果是要判断哪个设备文件缺失，方便运维人员根据扫描结果查找具体的缺失文 件并进行补缺。丢点数据内容如表1(数据中心的丢点数据）所示。
[0039] 表 1
【主权项】
1. 一种多数据源环境下数据缺失自动检查及集中监控方法，其特征在于包括： 第一步骤：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化 系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来； 第二步骤：执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同 数据中心的丢点数据汇总到一起以形成总丢点文件； 第三步骤：执行集中监控处理，其中使用报表工具将总丢点文件展示出来。
2. 根据权利要求1所述的方法，其特征在于，在第一步骤中，在执行定时查缺处理的过 程中，对数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据的 丢点文件名。
3. 根据权利要求1或2所述的方法，其特征在于，第二步骤中使用ETL工具执行数据汇 总处理。
4. 根据权利要求1或2所述的方法，其特征在于，在第一步骤中，首先根据实时数据的 断面类型和时间范围生成全量时间点，随后根据全量时间点判断数据是否是丢点数据，并 且获取被判断为丢点数据的数据的丢点时间。
5. 根据权利要求4所述的方法，其特征在于，在第一步骤中，还进一步将丢点时间转化 为丢点文件名。
6. 根据权利要求1或2所述的方法，其特征在于，总丢点文件中标明了各丢点数据的来 源。
7. 根据权利要求1或2所述的方法，其特征在于，所述来源由丢点数据的数据中心的名 称表不。
8. 根据权利要求1或2所述的方法，其特征在于，在第三步骤中，就总丢点文件集中处 理以得到统计报表和详细报表，并且将统计报表和详细报表展示出来。
9. 根据权利要求1或2所述的方法，其特征在于，所述多套数据中心为四套数据中心。
10. 根据权利要求1或2所述的方法，其特征在于，所述实时数据为SCADA实时数据。
【专利摘要】本发明提供了一种多数据源环境下数据缺失自动检查及集中监控方法，包括：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；执行集中监控处理，其中使用报表工具将总丢点文件展示出来。
【IPC分类】G06F17-30
【公开号】CN104850635
【申请号】CN201510270085
【发明人】毕晓亮, 张亮, 徐尧强, 岑维新, 吴超, 李丽, 周瑾, 郭华军, 马欢, 周晓苏
【申请人】华东电网有限公司, 上海欣同创科技有限公司
【公开日】2015年8月19日
【申请日】2015年5月24日