一种电力系统营配调贯通数据的处理方法及装置与流程

本发明涉及电力系统营配调贯通技术领域，尤其涉及一种电力系统营配调贯通数据的处理方法及装置。

背景技术：

当前，营配调贯通是指对电力系统中营销业务应用系统、PMS2.0生产设备精益化管理系统(简称PMS2.0系统)、用电信息采集系统、电网GIS平台的自动化系统的集成技术。营配调贯通技术能够将电力系统的营销、运检、调度等业务数据融合共享，并通过地理信息系统实现可视化展示，进而实现基础数据“一个源头”、业务流程“一套标准”，基于“营配调一张图”开展跨专业一体化应用，进一步提升客户报修地址的准确定位、配网故障快速研判、停电计划科学制定、业扩报装可视化接入、线损实时准确统计等协同业务应用。随着营配调贯通技术的大量应用，如何保证电力系统营配调贯通数据的稳定安全运行成为一个亟待解决的问题。

当前对电力系统营配调贯通数据的监控排查及问题诊断步骤如下：首先，需要通过观测系统前台指标，发现指标异常问题。之后，对PMS2.0系统、营销业务应用系统、数据中心系统、基础数据平台等系统进行源头数据查询比对。依据数据源比对核查结果，从异动接口程序和数据规约质量等方面进行问题分析定位。依据数据问题原因，制定数据治理方案，分配相关责任单位进行数据质量整改。

然而，当前的对电力系统营配调贯通数据的监控排查及问题诊断存在较多问题：首先，营配调贯通数据的问题难以全面监控，并且营配调贯通数据的问题定位时效性较差，难以及时排查出发生异常的数据位置，并且当前对营配调贯通数据的问题定位多依赖于系统技术人员的经验，使得分析导致数据异常的问题定位模糊、因此同步数据差异的问题性质判断不准确、决策结果有误差。另外，对电力系统营配调贯通数据的监控排查的排查流程规范性不足，无明确的核查步骤，对数据质量问题的核查治理责任界面模糊，没有统一规范的核查机制。

技术实现要素：

本发明的实施例提供一种电力系统营配调贯通数据的处理方法及装置，以解决营配调贯通数据的问题难以全面监控、定位时效性较差、定位模糊的问题。

为达到上述目的，本发明采用如下技术方案：

一种电力系统营配调贯通数据的处理方法，应用于电力系统的营配调贯通数据系统，所述营配调贯通数据系统包括PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统；所述PMS2.0系统与数据中心系统连接，所述数据中心系统还与所述营销业务应用系统连接，所述营销业务应用系统还与所述基础数据平台系统连接，所述基础数据平台系统还与所述PMS2.0系统连接；

所述电力系统营配调贯通数据的处理方法，包括：

对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；

根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；

对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；

根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。

具体的，所述对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据，包括：

根据kettle工具，采用日频度的方式，从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中，并根据数据抽取源和抽取系统的标准代码表，对所述标准代码表的类别代码进行数据解析处理；

将所述基础数据信息根据各统计维度进行轻量汇总数据加工；所述各统计维度包括：统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别；

将进行轻量汇总数据加工后的基础数据信息，根据webservice与J2EE三层体系架构技术进行数据展示，生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。

具体的，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位，包括：

根据所述数据流转监控成果数据，判断在同一待监控主题的统计条件下，在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致；

若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致，则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。

进一步的，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位，还包括：

定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点；所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备；

定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点；所述用户设备包括专线设备、专变设备。

具体的，所述定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点，包括：

依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量；

若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；

若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量，则确定数据中心系统的数据流转异常；

若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

具体的，所述定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点，包括：

依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量；

若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；

若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量，则确定基础数据平台系统的数据流转异常；

若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

具体的，对所述数据流转监控成果数据的异常问题进行基量数据分析，包括：

判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量；

若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常；

判断用户设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量；

若用户设备的营销业务应用系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序异常；

判断公网设备的数据中心系统的数据流转监控成果数据的数据量是否小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量；

若公网设备的数据中心系统的数据流转监控成果数据的数据量小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常；

判断用户设备的基础数据平台系统的数据流转监控成果数据的数据量是否小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量；

若用户设备的基础数据平台系统的数据流转监控成果数据的数据量小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序数据复制异常；

判断公网设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量；

若公网设备的营销业务应用系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，获取数据中心系统中的第一主题明细过程表信息，确定第一主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败；

判断用户设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量；

若用户设备的PMS2.0系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，获取基础数据平台系统中的第二主题明细过程表信息，确定第二主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

具体的，对所述数据流转监控成果数据的异常问题进行完整性分析，包括：

根据存储过程技术，对待监控主题在营销业务应用系统和PMS2.0系统的台账关键属性进行比对校验，确定营销业务应用系统数据是否完整以及PMS2.0系统数据是否完整。

具体的，对所述数据流转监控成果数据的异常问题进行一致性分析，包括：

根据营销业务应用系统与PMS2.0系统的公网设备PMSID关联信息、用户设备业务ID关联信息，通过存储过程技术，对营销业务应用系统与PMS2.0系统的台账及关系信息的关键属性比对校验，确定数据流转监控成果数据的异常问题的一致性。

具体的，对所述数据流转监控成果数据的异常问题进行业务规约分析，包括：

对所述数据流转监控成果数据的异常问题进行图数关系异常分析、考核户变户关系异常分析以及营销原公变用户分析。

一种电力系统营配调贯通数据的处理装置，应用于电力系统的营配调贯通数据系统，所述营配调贯通数据系统包括PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统；所述PMS2.0系统与数据中心系统连接，所述数据中心系统还与所述营销业务应用系统连接，所述营销业务应用系统还与所述基础数据平台系统连接，所述基础数据平台系统还与所述PMS2.0系统连接；

所述电力系统营配调贯通数据的处理装置，包括：

实时监控单元，用于对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；

异常问题定位单元，用于根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；

异常问题归因分类单元，用于对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；

异常问题处理对象确定单元，用于根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。

此外，所述实时监控单元，具体用于：

根据kettle工具，采用日频度的方式，从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中，并根据数据抽取源和抽取系统的标准代码表，对所述标准代码表的类别代码进行数据解析处理；

将所述基础数据信息根据各统计维度进行轻量汇总数据加工；所述各统计维度包括：统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别；

将进行轻量汇总数据加工后的基础数据信息，根据webservice与J2EE三层体系架构技术进行数据展示，生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。

此外，所述异常问题定位单元，具体用于：

根据所述数据流转监控成果数据，判断在同一待监控主题的统计条件下，在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致；

若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致，则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。

进一步的，所述异常问题定位单元，还用于：

定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点；所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备；

定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点；所述用户设备包括专线设备、专变设备。

进一步的，所述异常问题定位单元，还用于：

依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量；

若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；

若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量，则确定数据中心系统的数据流转异常；

若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

进一步的，所述异常问题定位单元，还用于：

依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量；

若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；

若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量，则确定基础数据平台系统的数据流转异常；

若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

此外，所述异常问题归因分类单元，具体用于：

判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量；

若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常；

判断用户设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量；

若用户设备的营销业务应用系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序异常；

判断公网设备的数据中心系统的数据流转监控成果数据的数据量是否小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量；

若公网设备的数据中心系统的数据流转监控成果数据的数据量小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常；

判断用户设备的基础数据平台系统的数据流转监控成果数据的数据量是否小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量；

若用户设备的基础数据平台系统的数据流转监控成果数据的数据量小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序数据复制异常；

判断公网设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量；

若公网设备的营销业务应用系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，获取数据中心系统中的第一主题明细过程表信息，确定第一主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败；

判断用户设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量；

若用户设备的PMS2.0系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，获取基础数据平台系统中的第二主题明细过程表信息，确定第二主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

进一步的，所述异常问题归因分类单元，还用于：

根据存储过程技术，对待监控主题在营销业务应用系统和PMS2.0系统的台账关键属性进行比对校验，确定营销业务应用系统数据是否完整以及PMS2.0系统数据是否完整。

进一步的，所述异常问题归因分类单元，还用于：

根据营销业务应用系统与PMS2.0系统的公网设备PMSID关联信息、用户设备业务ID关联信息，通过存储过程技术，对营销业务应用系统与PMS2.0系统的台账及关系信息的关键属性比对校验，确定数据流转监控成果数据的异常问题的一致性。

进一步的，所述异常问题归因分类单元，还用于：

对所述数据流转监控成果数据的异常问题进行图数关系异常分析、考核户变户关系异常分析以及营销原公变用户分析。

本发明实施例提供的一种电力系统营配调贯通数据的处理方法及装置，首先对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；之后，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；之后，对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；进而，根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。本发明可以实现营配调贯通数据的问题的全面监控，并且营配调贯通数据的问题定位较为及时，可以及时且自动化地排查出发生异常的数据位置，结果不依赖于不同技术人员的经验，结果较为准确。另外，本发明实施例对电力系统营配调贯通数据的监控排查的排查流程较为规范，具有明确的核查步骤，对数据质量问题的核查治理责任界面清晰，具有统一规范的核查机制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的电力系统的营配调贯通数据系统的结构示意图；

图2为本发明实施例提供一种电力系统营配调贯通数据的处理方法的流程图一；

图3为本发明实施例提供一种电力系统营配调贯通数据的处理方法的流程图二；

图4为本发明实施例提供一种电力系统营配调贯通数据的处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种电力系统营配调贯通数据的处理方法，应用于如图1所示的电力系统的营配调贯通数据系统，所述营配调贯通数据系统10包括PMS2.0系统101、数据中心系统102、营销业务应用系统103以及基础数据平台系统104；所述PMS2.0系统101与数据中心系统102通过一生产异动接口连接105，所述数据中心系统102还与所述营销业务应用系统103通过营销异动接口106连接，所述营销业务应用系统103还与所述基础数据平台系统104通过另一营销异动接口107连接，所述基础数据平台系统104还与所述PMS2.0系统101通过另一生产异动接口108连接。其中，PMS2.0系统101和营销业务应用系统103可以称为两个数据源；PMS2.0系统101、数据中心系统102、营销业务应用系统103以及基础数据平台系统104可以称为四个数据流转节点。该四个数据流转节点之间的四个数据流转过程可以称为四个数据流转环节。

如图2所示，该电力系统营配调贯通数据的处理方法，包括：

步骤201、对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据。

步骤202、根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位。

步骤203、对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果。

步骤204、根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。

本发明实施例提供的一种电力系统营配调贯通数据的处理方法，首先对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；之后，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；之后，对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；进而，根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。本发明可以实现营配调贯通数据的问题的全面监控，并且营配调贯通数据的问题定位较为及时，可以及时且自动化地排查出发生异常的数据位置，结果不依赖于不同技术人员的经验，结果较为准确。另外，本发明实施例对电力系统营配调贯通数据的监控排查的排查流程较为规范，具有明确的核查步骤，对数据质量问题的核查治理责任界面清晰，具有统一规范的核查机制。

为了使本领域的技术人员更好的了解本发明，下面列举一个更为详细的实施例，如图3所示，本发明实施例提供的电力系统营配调贯通数据的处理方法，包括：

步骤301、根据kettle工具，采用日频度的方式，从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中，并根据数据抽取源和抽取系统的标准代码表，对所述标准代码表的类别代码进行数据解析处理。

其中kettle工具是一款国外开源的数据仓库技术(Extract-Transform-Load，简称ETL)工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

上述的待监控主题可以有很多，所涉及的基础数据信息可以有12张表。

步骤302、将所述基础数据信息根据各统计维度进行轻量汇总数据加工。

其中，所述各统计维度包括：统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别。

步骤303、将进行轻量汇总数据加工后的基础数据信息，根据webservice与J2EE三层体系架构技术进行数据展示，生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。

Web service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML(标准通用标记语言下的一个子集)标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。

J2EE是一套全然不同于传统应用开发的技术架构，包含许多组件，主要可简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值。

步骤304、根据所述数据流转监控成果数据，判断在同一待监控主题的统计条件下，在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致。

步骤305、若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致，则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。

步骤306、定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点。

其中，所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备。

此处的步骤306具体可以采用如下方式实现：

依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量；若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量，则确定数据中心系统的数据流转异常；若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

步骤307、定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点。

其中，所述用户设备包括专线设备、专变设备。

上述步骤307具体可以采用如下方式实现：

依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量；若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常；若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量，则确定基础数据平台系统的数据流转异常；若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

为了实现上述数据流转异常及异常定位的业务逻辑判断系统自动化，可以利用数据库存储过程技术进行系统固化。

步骤308、对所述数据流转监控成果数据的异常问题进行基量数据分析。

此处的步骤308具体可以采用如下方式实现：分为首节点分析、中节点分析和末节点分析。

首节点分析：

判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量。

若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常。

判断用户设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量。

若用户设备的营销业务应用系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序异常。

中节点分析：

判断公网设备的数据中心系统的数据流转监控成果数据的数据量是否小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量。

若公网设备的数据中心系统的数据流转监控成果数据的数据量小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常。

判断用户设备的基础数据平台系统的数据流转监控成果数据的数据量是否小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量。

若用户设备的基础数据平台系统的数据流转监控成果数据的数据量小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序数据复制异常，此处可能是由于复制同步延时。

其中，OGG(Oracle Golden Gate)为一种提供异构系统间基于日志的实时更改数据捕获和交付的程序。

末节点分析：

判断公网设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量。

若公网设备的营销业务应用系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，获取数据中心系统中的第一主题明细过程表信息，确定第一主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

判断用户设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量。

若用户设备的PMS2.0系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，获取基础数据平台系统中的第二主题明细过程表信息，确定第二主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

步骤309、对所述数据流转监控成果数据的异常问题进行完整性分析。

上述步骤309可以通过如下方式实现：

根据存储过程技术，对待监控主题在营销业务应用系统和PMS2.0系统的台账关键属性进行比对校验，确定营销业务应用系统数据是否完整以及PMS2.0系统数据是否完整。这样，可以将数据流转监控成果数据的异常问题定义为营销侧不完整或者生产侧不完整来进行分类。

步骤310、对所述数据流转监控成果数据的异常问题进行一致性分析。

上述步骤310可以通过如下方式实现：

根据营销业务应用系统与PMS2.0系统的公网设备PMSID关联信息、用户设备业务ID关联信息，通过存储过程技术，对营销业务应用系统与PMS2.0系统的台账及关系信息的关键属性比对校验，确定数据流转监控成果数据的异常问题的一致性。这样，可以将数据流转监控成果数据的异常问题分类为“营销有生产无”、“营销无生产有”、“营销与生产重复对应”“和“关键属性及关系不一致”四类问题。

步骤311、对所述数据流转监控成果数据的异常问题进行业务规约分析。

上述步骤311可以通过如下方式实现：

对所述数据流转监控成果数据的异常问题进行图数关系异常分析、考核户变户关系异常分析以及营销原公变用户分析。

这样，对于图数关系异常分析，利用PMS2.0生产系统设备信息存在图形与数据台账关系原则，通过存储过程统计分析PMS2.0的“图数关系异常”信息，数据流转监控成果数据的异常问题可分类为“无图数关系”、“图数对应设备名称不一致”、“数据台账重复”。

对于考核户变户关系异常分析，利用营销业务应用系统考核用户与公变存在唯一关系的业务逻辑，通过存储过程统计分析营销业务应用系统中考核户变户关系异常信息，数据流转监控成果数据的异常问题可分类为一户多变、一变多户。

对于营销原公变用户分析，基于营配调数据贯通后，营销业务应用系统原公变应无用户关联的原则，通过存储过程统计分析，将营销业务应用系统中“营销原公变有用户”的异常明细信息导出。

步骤312、生成异常问题归因分类结果。

步骤313、根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。

对于步骤313，可以通过工作流引擎技术，实现异常问题处理的自动化派发。

第一步：流程设置及角色分配。流程设置是根据异常问题诊断的问题归因分类，进行设定问题处理的工作流程。角色分配是依据系统程序运维责任、业务数据管理归口单位，对应问题异常的原因进行分配(详见表1)。该流程设置和角色分配是异常问题处理的基础，是异常问题处理流程应用的初始化配置工作。

第二步：异常问题处理。利用工作流引擎技术，依据流程设置及角色分配，按照月频度自动启动异常问题处理工作流程，以异常问题分类流程为主线，分为8项主题数据包，由问题处理角色对人员进行下载，并组织人员进行数据治理或程序修改工作。

表1：异常问题处理流程与处理角色对应表(相当于上述的异常问题归因分类结果以及预先设置的问题处理对应关系)：

本发明实施例提供的一种电力系统营配调贯通数据的处理方法，首先对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；之后，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；之后，对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；进而，根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。本发明可以实现营配调贯通数据的问题的全面监控，并且营配调贯通数据的问题定位较为及时，可以及时且自动化地排查出发生异常的数据位置，结果不依赖于不同技术人员的经验，结果较为准确。另外，本发明实施例对电力系统营配调贯通数据的监控排查的排查流程较为规范，具有明确的核查步骤，对数据质量问题的核查治理责任界面清晰，具有统一规范的核查机制。

对应于上述图2和图3所示的方法实施例，如图4所示，本发明实施例提供的一种电力系统营配调贯通数据的处理装置，同样应用于如图1所示的电力系统的营配调贯通数据系统。所述电力系统营配调贯通数据的处理装置，包括：

实时监控单元41，用于对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据。

异常问题定位单元42，用于根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位。

异常问题归因分类单元43，用于对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果。

异常问题处理对象确定单元44，用于根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。

此外，所述实时监控单元41，具体用于：

根据kettle工具，采用日频度的方式，从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中，并根据数据抽取源和抽取系统的标准代码表，对所述标准代码表的类别代码进行数据解析处理。

将所述基础数据信息根据各统计维度进行轻量汇总数据加工；所述各统计维度包括：统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别。

将进行轻量汇总数据加工后的基础数据信息，根据webservice与J2EE三层体系架构技术进行数据展示，生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。

此外，所述异常问题定位单元42，具体用于：

根据所述数据流转监控成果数据，判断在同一待监控主题的统计条件下，在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致。

若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致，则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。

进一步的，所述异常问题定位单元42，还用于：

定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点；所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备。

定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点；所述用户设备包括专线设备、专变设备。

进一步的，所述异常问题定位单元42，还用于：

依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量。

若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常。

若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量，则确定数据中心系统的数据流转异常。

若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

进一步的，所述异常问题定位单元42，还用于：

依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量。

若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定PMS2.0系统的数据流转异常。

若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量，则确定基础数据平台系统的数据流转异常。

若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量，则确定营销业务应用系统的数据流转异常。

此外，所述异常问题归因分类单元43，具体用于：

判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量。

若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常。

判断用户设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量。

若用户设备的营销业务应用系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序异常。

判断公网设备的数据中心系统的数据流转监控成果数据的数据量是否小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量。

若公网设备的数据中心系统的数据流转监控成果数据的数据量小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常。

判断用户设备的基础数据平台系统的数据流转监控成果数据的数据量是否小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量。

若用户设备的基础数据平台系统的数据流转监控成果数据的数据量小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量，确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序数据复制异常。

判断公网设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量。

若公网设备的营销业务应用系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量，获取数据中心系统中的第一主题明细过程表信息，确定第一主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

判断用户设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量。

若用户设备的PMS2.0系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量，获取基础数据平台系统中的第二主题明细过程表信息，确定第二主题明细过程表中的同步状态和同步异常分类信息，确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。

进一步的，所述异常问题归因分类单元43，还用于：

根据存储过程技术，对待监控主题在营销业务应用系统和PMS2.0系统的台账关键属性进行比对校验，确定营销业务应用系统数据是否完整以及PMS2.0系统数据是否完整。

进一步的，所述异常问题归因分类单元43，还用于：

根据营销业务应用系统与PMS2.0系统的公网设备PMSID关联信息、用户设备业务ID关联信息，通过存储过程技术，对营销业务应用系统与PMS2.0系统的台账及关系信息的关键属性比对校验，确定数据流转监控成果数据的异常问题的一致性。

进一步的，所述异常问题归因分类单元43，还用于：

对所述数据流转监控成果数据的异常问题进行图数关系异常分析、考核户变户关系异常分析以及营销原公变用户分析。

值得说明的是，本发明实施例提供的一种电力系统营配调贯通数据的处理装置的具体实现方式可以参见上述图2和图3所示的方法实施例，此处不再赘述。

本发明实施例提供的一种电力系统营配调贯通数据的处理装置，首先对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控，生成数据流转监控成果数据；之后，根据所述数据流转监控成果数据，通过数据仓库技术确定所述数据流转监控成果数据的异常问题，并对所述数据流转监控成果数据的异常问题进行定位；之后，对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析，对所述数据流转监控成果数据的异常问题进行问题分类，生成异常问题归因分类结果；进而，根据所述异常问题归因分类结果以及预先设置的问题处理对应关系，确定各数据流转监控成果数据的异常问题的处理对象。本发明可以实现营配调贯通数据的问题的全面监控，并且营配调贯通数据的问题定位较为及时，可以及时且自动化地排查出发生异常的数据位置，结果不依赖于不同技术人员的经验，结果较为准确。另外，本发明实施例对电力系统营配调贯通数据的监控排查的排查流程较为规范，具有明确的核查步骤，对数据质量问题的核查治理责任界面清晰，具有统一规范的核查机制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。