数据集的数据项本身、同一个数据集的数据项之间、不同数据集 的数据项之间的数据校验规则的配置。数据集的可选范围包括事实表、维度表以及业务源 系统的关系表。
[0039] (2)管理校验任务。一个任务关联一个或多个规则。在任务中，设置指标类型，告 警级别，任务执行时间，告警通知延迟时间，告警通知方式等。任务执行时间可以选择遇节 假日延迟。节假日参数，在静态参数管理中设置。所有任务通过校验服务调用。校验服务 调用的流程图如图2所示。校验类型包括"合理性校验"、"一致性校验"、"完整性校验"和 "及时性校验"。告警级别包括"一般"、"告警"、"严重"。告警通知方式包括短信和邮件，通 知时间包括"立即"、"当日八点"或"最早工作日八点"。
[0040] (3)执行校验服务。所有校验任务由后台常驻进程周期扫描，如果满足任务执行时 间要求，则触发任务，扫描相应的数据，结果存入质量信息表。根据告警延迟时间和告警通 知方式，生成消息发布任务。当时间满足时，通过短信平台接口或邮件系统接口，将存在问 题的数据集名称和使用的校验规则名称，及时发送至数据管理人员。
[0041] (4)校验结果统计分析。针对校验结果，以"校验规则"、"时间"、"数据集"、"数据 维护人"等作为分析维度，从不同的角度分析和展示最容易发生质量问题的环节，帮助质量 管理专责确定重点关注的数据。
[0042] (5)问题处理跟踪。对于没有通过的校验规则，系统自动生成问题处理事件，维护 人员解决后，在系统中录入事件的解决措施和解决时间，并申请再次进行数据校验。重新校 验由质量管控专责通过人工触发完成。如果校验通过，则录入"确认"标记。
[0043] 本发明还提供一种用于电力交易数据仓库的质量管控系统，所述系统包括：
[0044] 〈1>校验规则设置模块：用于设置数据集的数据项本身、同一个数据集的数据项 之间、不同数据集的数据项之间的数据校验规则；
[0045] 〈2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括指标类 型、告警级别、任务执行时间、告警通知延迟时间和告警通知方式；一个任务关联一个或一 个以上的规则；
[0046] 〈3>校验服务执行模块：用于执行校验任务，编译和解析校验规则，并进行运算， 保存校验结果；
[0047] 〈4>校验结果统计模块：从多个维度对校验结果进行统计分析，用于发现数据质 量的关注重点。
[0048] 〈5>问题处理跟踪模块：系统自动生成质量问题处理事件，要求记录事件的解决 措施和解决时间，并通过人工触发校验任务完成确认。通过跟踪环节，协助质量管控专责， 考核异常数据处理的效率。
[0049] 实施例
[0050] 1、定义数据项的元数据信息，用于数据的合理性校验。元数据信息包括"是否允 许空"、"是否允许零"、"最大值"、"最小值"，"菜单范围"等参数的设置。定义数据集的元数 据，包括用于及时性校验的"数据频率"、"时间格式"等参数，包括用于消息发布的"数据集 维护人员"的参数。
[0051] 表1数据项的扩展元数据定义
[0052]
【主权项】
1. 一种用于电力交易数据仓库的质量管控方法，其特征在于，所述方法包括下述步 骤： (1) 定义校验元数据和校验规则； (2) 设置校验任务； (3) 执行校验服务； (4) 发布数据校验结果； (5) 处理跟踪质量问题。
2. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（1)中，包括元数据信 息设置；数据项是指数据仓库中数据表的值域，其元数据包括非空校验、零校验、是否进行 范围校验、最大值、最小值和引用范围校验；数据集是指数据仓库中的一个表，其元数据包 括数据频率、时间格式以及数据集维护人信息；通过元数据信息，实现数据本身的合理性校 验。
3. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（1)中，包括设置校验规 贝IJ;基于数据库表域名技术，实现数据仓库模型选择器，支持对数据集中数据的选择和过滤 条件的设置，形成动态查询语句；通过运算符连接动态查询语句，实现数据校验规则定义； 元数据校验通过校验规则设定，不需要设置规则表达式，系统直接调用元数据信息。
4. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（1)中，校验规则定义包 括及时性校验的时间定义；时间表达式包括时间类型和时间值；时间类型包括绝对时间和 相对时间，绝对时间的格式为年/月/日/时/分；相对时间以小时为单位；时间表达式运 用于校验规则中。
5. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（2)中，校验任务与一个 或多个校验规则关联，共享任务执行时间和执行频率。
6. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（3)中，校验任务由后 台进程周期扫描，如果满足执行时间要求，则触发任务，解析关联的校验规则并执行逻辑判 断，并记录校验结果。
7. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（4)中，校验结果结合消 息机制，通过邮件或者短信接口，自动发送至数据集的维护人，提醒维护人员尽快处理。
8. 如权利要求1所述的质量管控方法，其特征在于，所述步骤（5)中，为数据质量的解 决过程设计了反馈和跟踪机制，加强了对质量问题的管控智能。
9. 一种如权利要求1-8中任一项所述的用于电力交易数据仓库的质量管控方法的管 控系统，其特征在于，所述系统包括： 〈1>校验规则设置模块：包括元数据信息设置模块、校验规则配置模块和及时性时间 定义模块，用于设置数据集的数据项本身、同一个数据集的数据项之间以及不同数据集的 数据项之间的数据校验规则； 〈2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括关联的校验 规则、校验类型、告警级别、任务执行时间、告警通知方式和通知时间；一个任务关联一个或 多个校验规则，校验规则共用一套校验任务参数； 〈3>校验服务执行模块：通过后台的校验服务引擎，周期扫描校验任务，对符合时间要 求的任务，读取其关联的校验规则，解析并执行数据查询脚本和逻辑运算，保存校验结果； 同时通过消息机制，将校验结果发布至数据管理人员； 〈4>校验结果统计模块：查询数据集的校验结果，统计数据集的合理性、一致性、完整 性和及时性指标，对其进行排序分析和历史趋势分析，发现重点关注的数据； 〈5>问题处理跟踪模块：对于没有通过校验的规则，管控系统自动生成问题处理事件， 要求维护人员在解决问题后，录入事件的解决措施和解决时间，并申请再次进行数据校验； 重新校验由质量管控专责通过人工触发完成；如果通过，则记录事件确认标记，通过跟踪环 节，监控异常数据处理情况。
【专利摘要】本发明涉及一种用于电力交易数据仓库的质量管控方法及其管控系统，该方法包括下述：定义校验元数据和校验规则；设置校验任务；执行校验服务；发布数据校验结果；处理跟踪质量问题。本发明提供的技术方案针对数据集，通过校验规则灵活定义，进行数据合理性、一致性和完整性和及时性的判定，并对四个管控指标进行统计和历史趋势分析，设计问题处理跟踪反馈机制，便于管理人员制定质量控制措施。系统实现后，作为电力市场数据仓库的重要组成部分，为市场的高级分析和挖掘应用提供了数据质量的保障。
【IPC分类】G06Q50-06, G06F17-30, G06Q10-06, G06Q10-10
【公开号】CN104766151
【申请号】CN201410838222
【发明人】郭艳敏, 耿建, 龙苏岩, 邵平, 郑亚先, 薛必克, 程海花, 王高琴, 吕建虎, 赵彤, 张显, 张文哲, 徐骏, 黄春波, 史述红, 叶飞
【申请人】国家电网公司, 中国电力科学研究院, 江苏省电力公司, 国网重庆市电力公司
【公开日】2015年7月8日
【申请日】2014年12月29日