一种用于电力交易数据仓库的质量管控方法及其管控系统的制作方法
【技术领域】
[0001] 本发明涉及一种电力自动化领域的数据质量管控方法及其系统，具体讲涉及一种 用于电力交易数据仓库的质量管控方法及其管控系统。
【背景技术】
[0002] 随着智能电网的建设和电力市场的发展，交易运营系统的定位由原来的信息管理 发展为交易管控和经营决策。系统运行多年，积累的海量数据成为公司进行市场策略分析 的重要资源。基于数据仓库技术，构建电力市场分析系统，用于支撑交易管控、市场辅助决 策和市场态势分析等高级运用。其中，高质量的数据是支撑强大的决策优化等应用的前提 条件。因此在数据仓库框架中，应独立于实际分析应用，通过平台工具，对数据质量进行统 一管控。
[0003] 数据质量管理（Data Quality Management)，是指对数据从计划、获取、存储、共 享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度 量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进 一步提尚。
[0004] 现有信息系统的质量管控工具，一般都是为某个应用量身定制，很难脱离业务数 据而独立存在。其校验规则和校验逻辑也相对固化，不能满足由业务人员自由定制的需求。 另外，数据校验结果，缺乏主动发布和通知的功能，也没有问题解决环节的反馈和跟踪，部 分实现了数据的质量监示，几乎没有考虑质量问题的控制。
【发明内容】
[0005] 为解决上述现有技术中的不足，本发明的目的是提供一种用于电力交易数据仓库 的质量管控方法及其管控系统，针对数据集，通过校验规则灵活定义，进行数据合理性、一 致性和完整性和及时性的判定，并对四个管控指标进行统计和历史趋势分析，设计问题处 理跟踪反馈机制，便于管理人员制定质量控制措施。系统实现后，作为电力市场数据仓库的 重要组成部分，为市场的高级分析和挖掘应用提供了数据质量的保障。
[0006] 本发明的目的是采用下述技术方案实现的：
[0007] 本发明提供一种用于电力交易数据仓库的质量管控方法，其改进之处在于，所述 方法包括下述步骤
[0008] (1)定义校验元数据和校验规则；
[0009] (2)设置校验任务；
[0010] (3)执行校验服务；
[0011] (4)发布数据校验结果；
[0012] (5)处理跟踪质量问题。
[0013] 进一步地，所述步骤（1)中，包括元数据信息设置；数据项是指数据仓库中数据表 的值域，其元数据包括非空校验、零校验、是否进行范围校验、最大值、最小值和引用范围校 验；数据集是指数据仓库中的一个表，其元数据包括数据频率、时间格式以及数据集维护人 信息；通过元数据信息，实现数据本身的合理性校验。
[0014] 进一步地，所述步骤（1)中，包括设置校验规则；基于数据库表域名技术，实现数 据仓库模型选择器，支持对数据集中数据的选择和过滤条件的设置，形成动态查询语句；通 过运算符连接动态查询语句，实现数据校验规则定义；元数据校验通过校验规则设定，不需 要设置规则表达式，系统直接调用元数据信息。
[0015] 进一步地，所述步骤（1)中，校验规则定义包括及时性校验的时间定义；时间表达 式包括时间类型和时间值；时间类型包括绝对时间和相对时间，绝对时间的格式为年/月/ 日/时/分；相对时间以小时为单位；时间表达式运用于校验规则中。
[0016] 进一步地，所述步骤（2)中，校验任务与一个或多个校验规则关联，共享任务执行 时间和执行频率。
[0017] 进一步地，所述步骤（3)中，校验任务由后台进程周期扫描，如果满足执行时间要 求，则触发任务，解析关联的校验规则并执行逻辑判断，并记录校验结果。
[0018] 进一步地，所述步骤（4)中，校验结果结合消息机制，通过邮件或者短信接口，自 动发送至数据集的维护人，提醒维护人员尽快处理。
[0019] 进一步地，所述步骤（5)中，为数据质量的解决过程设计了反馈和跟踪机制，加强 了对质量问题的管控智能。
[0020] 本发明还提供一种用于电力交易数据仓库的质量管控方法的管控系统，其改进之 处在于，所述系统包括：
[0021] 〈1>校验规则设置模块：包括元数据信息设置模块、校验规则配置模块和及时性 时间定义模块，用于设置数据集的数据项本身、同一个数据集的数据项之间以及不同数据 集的数据项之间的数据校验规则；
[0022] 〈2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括关联的 校验规则、校验类型、告警级别、任务执行时间、告警通知方式和通知时间；一个任务关联 一个或多个校验规则，校验规则共用一套校验任务参数；
[0023] 〈3>校验服务执行模块：通过后台的校验服务引擎，周期扫描校验任务，对符合时 间要求的任务，读取其关联的校验规则，解析并执行数据查询脚本和逻辑运算，保存校验结 果；同时通过消息机制，将校验结果发布至数据管理人员；
[0024] 〈4>校验结果统计模块：查询数据集的校验结果，统计数据集的合理性、一致性、 完整性和及时性指标，对其进行排序分析和历史趋势分析，发现重点关注的数据；
[0025] 〈5>问题处理跟踪模块：对于没有通过校验的规则，管控系统自动生成问题处理 事件，要求维护人员在解决问题后，录入事件的解决措施和解决时间，并申请再次进行数据 校验；重新校验由质量管控专责通过人工触发完成；如果通过，则记录事件确认标记，通过 跟踪环节，监控异常数据处理情况。
[0026] 与最接近的现有技术相比，本发明提供的技术方案具有的优异效果是：
[0027] 本发明解决的技术问题是基于数据集的元数据定义，结合数据模型选择器、公式 运算和及时性时间定义，实现了数据校验规则的灵活定义。基于和短信平台、邮件系统的接 口，实现了校验结果的及时发布，缩短了质量问题的处理时间。基于问题跟踪反馈机制，实 现了对数据质量问题的跟踪和考核，进一步促进问题解决的主观能动性。
[0028] 本发明提供的数据仓库质量管控方法及系统，主要解决如下问题：
[0029] (1)通过元数据定义，结合数据模型选择器和公式编辑器，实现数据校验规则的灵 活定义。通过校验规则，设置数据项之间、数据集之间、数据集和原始业务数据之间的校验 逻辑，实现数据合理性、一致性和及时性校核。采用此方法定义的校验规则，经由任务调度 和定时服务，在后台实现数据质量的定时扫描。
[0030] (2)通过消息机制，结合短信平台和邮件系统，实现系统自动推送校验异常信息。 对异常信息的响应时间和完成时间进行监控，促使异常数据能够得到及时处理，促使问题 数据得到及时有效地处理，保障电力市场数据仓库应用的可靠性。
【附图说明】
[0031] 图1是本发明提供的本发明的功能流程示意图；
[0032] 图2是本发明提供的数据质量校验引擎的流程图；
[0033] 图3是本发明提供的具体实施例的及时性校验结果界面图；
[0034] 图4是本发明提供的问题处理跟踪模块的处理流程图。
【具体实施方式】
[0035] 下面结合附图对本发明的【具体实施方式】作进一步的详细说明。
[0036] 本发明所要解决的技术问题是基于数据集的元数据定义，结合灵活规则表达式， 提出了数据校验规则的灵活定义方法。采用此方法定义的校验规则，经由任务调度，在后台 实现数据质量的周期扫描。扫描结果经短信接口或邮件接口，及时发送至相应的数据维护 人员，促使问题数据得到及时有效地处理，保障电力市场数据仓库应用的可靠性。
[0037] 本发明的功能流程图如图1所示，包括如下步骤：
[0038] (1)设置校验规则。设置数据集和数据项的元数据信息，基于动态数据查询语句和 运算符定义校验规则，实现