一种数据质量核查方法及装置的制造方法

文档序号:10489009阅读:398来源:国知局
一种数据质量核查方法及装置的制造方法
【专利摘要】本发明涉及一种数据质量核查方法及装置,其中,方法包括:对营销业务应用系统与电网GIS平台之间进行每一类档案横向数据差异分析,核查出营销业务应用系统与电网GIS平台之间的数据差异情况;其中,所述横向数据为变电站数据信息、产权属于供电公司的线路数据信息、产权属于用户的线路数据信息、产权属于供电公司的变压器数据信息、产权属于用户的变压器数据信息、计量箱数据信息、电能表数据信息和用户数据信息;对营销业务应用系统与电网GIS平台之间按照档案管理单位向下纵向关联的方式统计数据差异情况,实现在营配数据整体贯通完成后数据常态维护阶段的数据质量的核查。
【专利说明】
_种数据质量核查方法及装置
技术领域
[0001] 本发明涉及电力数据处理技术领域,特别涉及一种数据质量核查方法及装置。
【背景技术】
[0002] 目前,国家电网公司正在开展营配调贯通工程建设工作,实现以营配数据共享支 撑故障定位、停电范围定位、实时线损统计、业扩报装等业务,以营配信息集成推进营配业 务融合,建立面向客户的跨部门、跨专业的营配协同作业流程和服务机制,全面支撑95598 全业务上收,提升供电服务品质。当前,随着营配调贯通项目建设的深入开展,虽然公司不 同业务系统间数据已初步实现了贯通、同步和共享,但营销系统和生产系统在数据方面的 差异性还很大,数据准确性不高,当前依靠数据库离线分析的手段对数据进行核查分析,分 析完毕后再电话或邮件通知各供电公司对问题数据进行整改。
[0003] 该技术方案的缺点如下:
[0004] (1)该方案未将数据治理业务统一标准,统一流程,管理相对松散,
[0005] (2)该方案通过数据库离线分析的方式执行数据质量核查,对供电公司业务人员 的数据库技术要求较高,不适用于一线工作人员。
[0006] (3)该方案的数据核查分析过程对人的依赖性较强,在数据量迅速增长的信息化 时代,数据治理效率较低,不适合推广应用。

【发明内容】

[0007] 本发明实施例的主要目的在于提出一种数据质量核查方法及装置,实现各方面的 档案信息及关系数据的集成共享,并以集成数据为基础实现营配数据的全方位诊断、分析 及治理。
[0008] 为实现上述目的,本发明提供了一种数据质量核查方法,包括:
[0009] 对营销业务应用系统与电网GIS平台之间进行每一类档案横向数据差异分析,核 查出营销业务应用系统与电网GIS平台之间的数据差异情况;其中,所述横向数据为变电站 数据信息、产权属于供电公司的线路数据信息、产权属于用户的线路数据信息、产权属于供 电公司的变压器数据信息、产权属于用户的变压器数据信息、计量箱数据信息、电能表数据 信息和用户数据信息;
[0010] 对营销业务应用系统与电网GIS平台之间按照档案管理单位向下纵向关联的方式 统计数据差异情况,实现在营配数据整体贯通完成后数据常态维护阶段的数据质量的核 查。
[0011] 优选地,还包括:
[0012]对营销系统中原有可清理、已清理、未清理的变电站数据信息、产权属于供电公司 的线路数据信息、产权属于供电公司的变压器数据信息进行分析统计,并按照自下而上的 清理原则及时进行档案清理。
[0013] 优选地,还包括:
[0014] 对新装、漏采、轮换计量设备的信息进行核查;找出需要补采信息的用户,并派专 业人员开展采录。
[0015] 对应地,为实现上述目的,本发明还提供了一种数据质量核查装置,包括:
[0016] 营配差异分析单元,用于对营销业务应用系统与电网GIS平台之间进行每一类档 案横向数据差异分析,核查出营销业务应用系统与电网GIS平台之间的数据差异情况;其 中,所述横向数据为变电站数据信息、产权属于供电公司的线路数据信息、产权属于用户的 线路数据信息、产权属于供电公司的变压器数据信息、产权属于用户的变压器数据信息、计 量箱数据信息、电能表数据信息和用户数据信息;
[0017] 数据质量核查单元,用于对营销业务应用系统与电网GIS平台之间按照档案管理 单位向下纵向关联的方式统计数据差异情况,实现在营配数据整体贯通完成后数据常态维 护阶段的数据质量的核查。
[0018] 优选地,还包括:
[0019] 营销档案清理单元,用于对营销系统中原有可清理、已清理、未清理的变电站数据 信息、产权属于供电公司的线路数据信息、产权属于供电公司的变压器数据信息进行分析 统计,并按照自下而上的清理原则及时进行档案清理。
[0020] 优选地,还包括:
[0021] 增量数据核查单元,用于对新装、漏采、轮换计量设备的信息进行核查;找出需要 补采信息的用户,并派专业人员开展采录。
[0022] 上述技术方案具有如下有益效果:
[0023] 1、根据数据治理线上线下流程及方案开展营配调贯通项目,项目组各方均明确了 在提升数据质量方面的要求和任务,不同系统建设方的交流更加畅通,营配数据融合的进 度显著提高。
[0024] 2、营配数据分析数据库为不同系统数据指标分析与评价搭建了一个平台,通过该 平台,业务人员可以清晰地掌握营配调贯通数据融合方面存在的问题,对变电站、公线、公 变、专线、专变、表箱、电能表、用户数据进行全方位核查分析,将不规范、缺失、重复的数据 形成问题明细,并针对问题数据下发核查工单及整改措施,实现了问题的全过程跟踪,缩短 了问题处理链条,提高了业务人员的作业效率。
[0025] 3、数据治理的自动化程度高。通过离线和实时两种途径获取问题数据现场核查的 信息,并将其转化为本地应用数据库的格式。现场工作时,能够根据采集的数据信息,检索 对应的设备信息,并对双方的数据比对,发现不一致的信息,对错误数据及时改正。提供数 据移动管理、数据上传后台数据库、工单自动生成等功能。通过合理的模型建立和流程设 计,有效地缩短了现场数据核查时间,提高了数据治理效率,减少人力、物力成本。
【附图说明】
[0026] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 根据这些附图获得其他的附图。
[0027] 图1为本发明提供的一种数据质量核查方法流程图;
[0028] 图2为本发明提供的一种数据质量核查装置框图;
[0029] 图3为本实施例营配差异分析流程图;
[0030] 图4为本实施例数据质量核查流程图;
[0031] 图5为本实施例营销档案清理流程图;
[0032] 图6为本实施例增量数据核查流程图。
【具体实施方式】
[0033]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。
[0034] 本技术方案的工作原理:基于大规模数据整合和分析技术,研究营配系统之间的 数据全方位分析筛查方法和质量提升方法。研究以"站、线、变、箱、表、户"六横和"站_>线_> 变_>箱_>表_>户"一纵为主的数据核查分析思路和规则,设计数据核查任务制定和派发方 法以及数据整改作业流程,保证营配电网数据和用户数据的完整性、一致性、唯一性、规则 性等。同时,建立营销档案清理方法及增量数据核查方法,实现系统间基础数据档案的统 〇
[0035] 如图1所示,为本发明提供的一种数据质量核查方法流程图。包括:
[0036] 步骤101):对营销业务应用系统与电网GIS平台之间进行每一类档案横向数据差 异分析,核查出营销业务应用系统与电网GIS平台之间的数据差异情况;其中,所述横向数 据为变电站数据信息、产权属于供电公司的线路数据信息、产权属于用户的线路数据信息、 产权属于供电公司的变压器数据信息、产权属于用户的变压器数据信息、计量箱数据信息、 电能表数据信息和用户数据信息;
[0037] 步骤101用于实现对营销业务应用系统与电网GIS平台间变电站、产权属于供电公 司的线路(公线)、产权属于供电公司的变压器(公变)、产权属于用户的线路(专线)、产权属 于用户的变压器(专变)、表箱、电能表、用户等信息的比对,通过预定分析规则进行每一类 档案横向数据差异分析,核查出两系统间的数据差异情况,该功能适用于在营配数据贯通 项目实施阶段发起对站、线、变、箱、表、户六个横向档案信息的专项核查治理。
[0038] 该功能在核查出各类型档案的数据差异情况后,可以对每种情况的数据整改提供 指导意见,并根据差异问题数据明细生成工单任务,由各类型档案主管专业对应的业务人 员进行系统核实或现场核实确认,分别在相应系统完成数据整改。在该功能下,共设计变电 站、公线、专线、公变、专变、计量箱、高压用户点等档案营配差异分析规则7项,以变电站为 例,其营配差异分析规则类型如表1所示,其他档案与变电站的营配差异分析规则类似,在 此不再赘述。
[0039]表1变电站营配差异分析规则
[0042] 步骤102):对营销业务应用系统与电网GIS平台之间按照档案管理单位向下纵向 关联的方式统计数据差异情况,实现在营配数据整体贯通完成后数据常态维护阶段的数据 质量的核查。
[0043] 在步骤102中,数据质量核查用于实现对营销业务应用系统与电网GIS平台间变电 站、公线、公变、专线、专变、表箱、电能表、用户等信息的比对,核查内容为两系统间的数据 差异情况,其与"营配差异分析"功能的区别在于可实现按档案管理单位向下纵向关联的方 式统计数据差异情况,并灵活制定普查计划,该功能适用于营配数据整体贯通完成后数据 常态维护阶段的数据质量核查,实现对站_>线_>变_>箱_>表_>户纵向档案信息的核查治 理。具体核查规则同表1中的营配差异分析规则。
[0044] 统计完数据差异情况后,业务人员可根据计划派工生成工单任务,由相关专业的 业务人员进行系统核查或者现场核查,完成数据核查治理。进行数据全方位分析时,在每一 级档案类型中,可以选择是否包含下级设备,各级档案的问题率W以红、橙、黄、绿进行区分, 具体明细如表2所示。
[0045] 表2问题率颜色展示规则
LUU^/j Λ、」丁卒头她1列术W1 ,仕团i tfj番畑丄,论迅低:
[0048]对营销系统中原有可清理、已清理、未清理的变电站数据信息、产权属于供电公司 的线路数据信息、产权属于供电公司的变压器数据信息进行分析统计,并按照自下而上的 清理原则及时进行档案清理。
[0049]营销原有档案清理是对营销系统中原有可清理、已清理、未清理的变电站、公线、 公变(台区/变压器)进行分析统计,并按照"自下而上"的清理原则指导业务人员及时进行 档案清理。对于未清理的档案,给出具体明细,安排任务工单,由具体责任人进行相关清理 操作(通过营销系统中的调整线路台区功能完成下级设备的转移),管理人员并对任务明细 的处理情况及时跟踪了解。营销档案清理规则如表3所示。 「00501 妄·销趙宏、)害拥挪_
[0052] 对于本实施例来说,在图1的基础上,还包括:
[0053]对新装、漏采、轮换计量设备的信息进行核查;找出需要补采信息的用户,并派专 业人员开展采录。
[0054]增量数据核查可实现对新装、漏采、轮换计量设备的信息进行核查和补采。增量数 据核查按照营销档案清理计划,根据制定的核查规则,查找出需要完善和补充的增量数据, 并派工至专业人员开展采录。增量数据核查规则如表4所示。
[0055]表4增量数据核查规则
[0057]如图2所示,为本发明提出的一种数据质量核查装置框图。包括:
[0058]营配差异分析单元201,用于对营销业务应用系统与电网GIS平台之间进行每一类 档案横向数据差异分析,核查出营销业务应用系统与电网GIS平台之间的数据差异情况;其 中,所述横向数据为变电站数据信息、产权属于供电公司的线路数据信息、产权属于用户的 线路数据信息、产权属于供电公司的变压器数据信息、产权属于用户的变压器数据信息、计 量箱数据信息、电能表数据信息和用户数据信息;
[0059] 对于营配差异分析单元来说,营配差异分析功能用于实现对营销业务应用系统与 电网GIS平台间变电站、公线、公变、专线、专变、表箱、电能表、用户等信息的比对,通过预定 分析规则进行每一类档案横向数据差异分析,核查出两系统间的数据差异情况,并根据差 异问题数据明细生成工单任务,由各类型档案主管专业对应的业务人员进行系统核实或现 场核实确认,分别在对应系统完成数据整改。详细的营配差异分析流程如图3所示。
[0060] 数据质量核查单元202,用于对营销业务应用系统与电网GIS平台之间按照档案管 理单位向下纵向关联的方式统计数据差异情况,实现在营配数据整体贯通完成后数据常态 维护阶段的数据质量的核查。
[0061] 对于数据质量核查单元来说,数据质量核查用于实现对营销业务应用系统与电网 GIS平台间变电站、公线、公变、专线、专变、表箱、电能表、用户等信息的比对,该功能可实现 按档案管理单位向下纵向关联的方式统计数据差异情况,统计完数据差异情况后,业务人 员可根据计划派工生成工单任务,由相关专业的业务人员进行系统核查或者现场核查,完 成数据核查治理。数据质量核查流程如图4所示。
[0062] 进一步地,本发明提出的一种数据质量核查装置还包括:
[0063]营销档案清理单元,用于对营销系统中原有可清理、已清理、未清理的变电站数据 信息、产权属于供电公司的线路数据信息、产权属于供电公司的变压器数据信息进行分析 统计,并按照自下而上的清理原则及时进行档案清理。
[0064]对于本实施例来说,对于营销系统中原有可清理、已清理、未清理的变电站、公线、 公变(台区/变压器)档案,营销档案清理功能模块可以进行分析统计,并按照"自下而上"的 清理原则指导业务人员及时进行档案清理。具体流程如图5所示。在台区核查清理中,对于 有挂接用户的台区,可以等待移动接口将该类用户同步过去后,再进行清理;对于新装、漏 采、换表用户,可以按照"增量数据核查"流程将数据补充完整,然后等待移动接口将其同 步;对于考核户,由业务人员将其手动进行调整。线路核查清理、变电站核查清理与台区核 查清理的原理类似,在此不再赘述。
[0065] 进一步地,本发明提出的一种数据质量核查装置还包括:
[0066] 增量数据核查单元,用于对新装、漏采、轮换计量设备的信息进行核查;找出需要 补采信息的用户,并派专业人员开展采录。
[0067] 对于本实施例来说,在营销档案清理过程中,发现有新装、漏采、轮换计量设备的 用户,需要对该类信息进行核查和补采。增量数据核查根据计划派工生成工单任务,具体流 程如图6所不。
[0068] 本技术方案旨在通过与营销业务应用系统、电网GIS平台的无缝集成和对接,实现 变电站、公线、公变、专线、专变、表箱、电能表、用户等档案信息及关系数据的集成共享,并 以集成数据为基础实现营配数据的全方位诊断、分析及治理。
[0069] 以上【具体实施方式】,对本发明的目的、技术方案和有益效果进行了进一步详细说 明,所应理解的是,以上仅为本发明的【具体实施方式】而已,并不用于限定本发明的保护范 围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明 的保护范围之内。
【主权项】
1. 一种数据质量核查方法,其特征在于,包括: 对营销业务应用系统与电网GIS平台之间进行每一类档案横向数据差异分析,核查出 营销业务应用系统与电网GIS平台之间的数据差异情况;其中,所述横向数据为变电站数据 信息、产权属于供电公司的线路数据信息、产权属于用户的线路数据信息、产权属于供电公 司的变压器数据信息、产权属于用户的变压器数据信息、计量箱数据信息、电能表数据信息 和用户数据信息; 对营销业务应用系统与电网GIS平台之间按照档案管理单位向下纵向关联的方式统计 数据差异情况,实现在营配数据整体贯通完成后数据常态维护阶段的数据质量的核查。2. 如权利要求1所述的方法,其特征在于,还包括: 对营销系统中原有可清理、已清理、未清理的变电站数据信息、产权属于供电公司的线 路数据信息、产权属于供电公司的变压器数据信息进行分析统计,并按照自下而上的清理 原则及时进行档案清理。3. 如权利要求1或2所述的方法,其特征在于,还包括: 对新装、漏采、轮换计量设备的信息进行核查;找出需要补采信息的用户,并派专业人 员开展采录。4. 一种数据质量核查装置,其特征在于,包括: 营配差异分析单元,用于对营销业务应用系统与电网GIS平台之间进行每一类档案横 向数据差异分析,核查出营销业务应用系统与电网GIS平台之间的数据差异情况;其中,所 述横向数据为变电站数据信息、产权属于供电公司的线路数据信息、产权属于用户的线路 数据信息、产权属于供电公司的变压器数据信息、产权属于用户的变压器数据信息、计量箱 数据信息、电能表数据信息和用户数据信息; 数据质量核查单元,用于对营销业务应用系统与电网GIS平台之间按照档案管理单位 向下纵向关联的方式统计数据差异情况,实现在营配数据整体贯通完成后数据常态维护阶 段的数据质量的核查。5. 如权利要求4所述的装置,其特征在于,还包括: 营销档案清理单元,用于对营销系统中原有可清理、已清理、未清理的变电站数据信 息、产权属于供电公司的线路数据信息、产权属于供电公司的变压器数据信息进行分析统 计,并按照自下而上的清理原则及时进行档案清理。6. 如权利要求4或5所述的装置,其特征在于,还包括: 增量数据核查单元,用于对新装、漏采、轮换计量设备的信息进行核查;找出需要补采 信息的用户,并派专业人员开展采录。
【文档编号】G06F17/30GK105843883SQ201610161878
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】王鹏伍, 孙志杰, 傅军, 张艳丽, 方茂益, 周国鹏
【申请人】国家电网公司, 国网冀北电力有限公司电力科学研究院, 华北电力科学研究院有限责任公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1