一种基于电能表远程误差诊断的数据清洗与质量评价系统的制作方法

本发明属于电能表数据采集领域，涉及一种基于电能表远程误差诊断的数据清洗与质量评价系统。

背景技术：

2014年底全国网覆盖的用电信息采集系统，已实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，可及时、完整、准确地为有关系统进行高级分析和辅助决策研究提供基础数据，为实现电能表智能双向互动提供了坚实的信息基础。

当前低压台区数目庞大、建设情况参差不齐的现状使得台区在提升管理水平的过程中面临诸多亟待解决的问题，主要体现在以下4个方面:

(1)受供能侧与用能侧双重影响，缺乏对低压台区智能电能表实际运行状态的科学全面评估手段；

(2)配网结构、用户用电行为、线损等实际因素对低压台区运行状态的影响难以实现实验室物理复现分析；

(3)低压台区智能电能表的运行误差检定精细化程度不够，检定效率低下，检定成本偏高；

(4)低压台区智能电能表的运维派单主要依赖于人工，存在运维资源与运维需求间的矛盾。

上述问题直接关系到用户的实际利益与国网公司的运行收益。仅以国网天津市电力公司为例，当前低压台区接入用户达580万以上。通过累计拆回分拣20余万电能表统计数据表明，约6.77％的电能表存在计量超差现象，这意味着实际运行电能表中，2.26‰表计可能存在计量超差的隐患，在造成直接经济损失的同时，也对电力资源造成严重浪费，产生不必要的电费纠纷。

通过对公开专利文献的检索，并未发现与本专利申请相同的公开专利文献。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种基于电能表远程误差诊断的数据清洗与质量评价系统。

本发明解决其技术问题是通过以下技术方案实现的：

一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。

而且，所述的数据格式与完整性检查模块包括：

用采数据格式校验：通过自动校验脚本，检查用采数据的文件名格式，数据字段格式；

用采数据完整性检查：通过自动校验脚本检查换表记录的旧表和新表信息，并判断换表前后数据是否完整；

营销数据格式校验：通过自动校验脚本，检查营销数据的文件名格式，数据字段格式；

计量资产系统数据格式校验：通过自动校验脚本，检查mds数据的文件名格式，数据字段格式；

而且，所述的问题数据鉴别与分类模块包括：

总表数据问题：运行误差监测模块在对数据进行处理的过程中，可以根据总表数据情况判断总表数据异常问题，并生成数据问题报告；总表数据异常包括：总表数据缺失，总表数据坏点等情况；

数据缺失问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断用户表数据是否缺失问题，并生成数据问题报告；

数据错误问题：运行误差监测模块在对数据进行处理的过程中，可以根据用户表数据情况判断用户表数据是否错误，并生成数据问题报告；用户表数据错误包括：数据坏点、电表计量问题、疑似伪数问题等；

档案问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断档案信息是否缺正确，并生成数据问题报告；档案问题主要包括：台区档案问题(多总表、无总表、无户表)、户变关系问题等。

而且，所述的采集通道问题定位模块包括：

电能表采集成功情况的判断：基于电能表日冻结数据信息，判断用电用户每天日冻结数据采集成功情况，定位采集未成功的电能表信息及采集未成功的日期；

电能表未覆盖：基于营销业务应用系统电能表信息数据及采集系统电能表档案数据，判断电能表覆盖情况，定位出未覆盖的电能表信息以及对应的台区；

采集终端问题检测：基于用电信息采集系统日冻结数据、用电信息、通讯方式等数据，判断电能表采集失败是否由采集终端问题导致，定位出采集终端故障等导致的采集失败的电能表信息；

采集信道问题检测：基于用电信息采集系统日冻结数据、高频采样96点电压电流曲线、用电信息、通讯方式等数据，判断主站获取冻结数据失败是否由采集信息问题导致数据上传失败，定位出采集信息问题导致主站无法获取冻结数据的电能表信息。

而且，所述计量量化误差检测模块包括：

计量量化误差的检测：运行误差监测模块会根据检测算法检测出量化误差，在计算误差时将量化误差考虑进去进行计算分析，提高计算精确度；

计量量化误差阈值配置：运行误差监测模块可在计算前手动设置误差阈值，运行误差监测模块会根据设置好的误差阈值进行误差计算及分析；

计量量化误差知识库构建：运行误差监测模块根据电能表的规格、准确度等级以及生产厂家批次号等信息、经过分析、总结，构建量化误差知识库；运行误差模块在计算的过程中结合量化误差计算电表运行误差，可以提高计算精确度，并可以根据现场核查误差不断精确完善量化误差知识库，提高算法模型计算精确度。

而且，所述的异常值诊断模块包括：

日冻结数据跳变诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先上升后下降的电能表；

日冻结数据复位诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先复位到0后正常上升的电能表。

而且，所述的采集数据缺失与错误检测模块包括：

总表示数数据缺失与错误检测:基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表历史供电信息存在冻结示数缺失的电能表及数据缺失的日期；

较大用户表数据缺失与错误检测：基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下某个较大用电量低压用户或多个较大用电量低压用户历史用电信息存在冻结示数缺失的电能表及数据缺失的日期；

总表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表互感器倍率缺失的电能表信息；

户表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下低压用户互感器倍率缺失的电能表信息；

电压电流缺失与错误数据检测：基于高频采样96点电压电流信息、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出电压电流数据缺失的电能表信息；

重复数据检测：基于电能表日冻结数据、营销业务应用系统档案变更数据，通过智能电能表运行误差监测模块模型，检测出日冻结数据存在重复的电能表信息。

而且，所述的伪数检测算法自动识别疑似伪数数据包括：

对疑似伪数数据的电能表进行统计、分析：自动透抄表底数据、智能电能表运行误差监测模块会对用电信息采集系统日冻结示数信息进行分析，对疑似伪数数据的电能表进行统计，反馈至采集系统重新进行系统召测，透抄电能表表底数据并将数据主动上传至智能电能表运行误差监测模块，进行二次分析；

智能比对数据：智能电能表运行误差监测模块会对透抄回来的表底数据进行二次比对，重新分析数据；

比对结果上传：智能电能表运行误差监测模块对透抄回来的表底数据比对后，诊断出与源表底数据不同的电能表信息，通过国网-计量资产系统通道将比对后存在差异的结果上传至国网总部上级应用系统。

而且，所述的缺失数据补全模块包括：

日冻结数据平滑处理：数据天数的缺失会降低计算的准确性，针对这种情况，数据处理模块通过用户总体数据情况进行均值计算补全；对于数据中出现倒走、跳数或者读数为0等异常数据，模型会根据整体数据情况分析出异常情况数据，然后通过平滑过滤处理过滤异常数据，减少异常数据对模型计算的准确性；

综合倍率补全：对于虚拟倍率缺失情况，模型根据能量守恒定律公式进行计算，得到对应值，并根据计算所得的值通过专家知识库得到虚拟倍率进行补全；所述的能量守恒定律公式为总表供电量＝用户表总用电量+线损+固定损耗；

换表行为分析及数据补全：对于有过轮换的电能表，数据处理模块判断有换表行为后，将换表前后的数据进行合并处理，对于缺失数据进行补0处理。

而且，所述的数据治理结果指标与评价模块包括：

数据治理结果指标展示：运行误差监测模块根据不同周期的计算结果情况进行比对，获得各数据问题比对结果，将各问题比对信息进行展示；

数据治理结果指标评价：运行误差监测模块根据比对结果得到数据治理进度情况，将治理进度情况进行展示。

本发明的优点和有益效果为：

本发明通过基于数据格式与完整性检查，实现采集数据的初步筛选，为数据格式与完整性模型，保障采集数据在进入问题诊断区的同时，形成标准化数据格式；基于问题数据的鉴别与分类模块，在对数据进行处理的过程中，可以根据各级数据情况判断各级表计数据异常问题，并进入相关数据判断流程，对问题数据实现问题归类与溯源，实现数据诊断与治理的闭环过程；基于缺失数据的补全，通过标准算法，对于断点灯缺失的数据，为避免对智能电表的远程误差诊断准确与合理，实现基于运算逻辑的确实数据补全能力，保障运算的连贯性；基于数据治理与指标评价情况，根据不同周期的计算结果情况进行比对，获得各数据问题比对结果，将各问题比对信息进行展示。

附图说明

图1为本发明整体的系统架构图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于电能表远程误差诊断的数据清洗与质量评价系统，其创新之处在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。

所述的数据格式与完整性检查模块包括：

用采数据格式校验：通过自动校验脚本，检查用采数据的文件名格式，数据字段格式；如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题等；

用采数据完整性检查：通过自动校验脚本检查换表记录的旧表和新表信息，并判断换表前后数据是否完整；

营销数据格式校验：通过自动校验脚本，检查营销数据的文件名格式，数据字段格式；如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题等；

计量资产系统数据格式校验：通过自动校验脚本，检查计量资产系统数据的文件名格式，数据字段格式；如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题等。

所述的问题数据鉴别与分类模块包括：

总表数据问题：运行误差监测模块在对数据进行处理的过程中，可以根据总表数据情况判断总表数据异常问题，并生成数据问题报告；总表数据异常包括：总表数据缺失，总表数据坏点等情况；

数据缺失与错误问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断用户表数据是否缺失问题，并生成数据问题报告；

档案问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断档案信息是否缺正确，并生成数据问题报告；档案问题主要包括：台区档案问题(多总表、无总表、无户表)、户变关系问题等。

所述的采集通道问题定位模块包括：

电能表采集成功情况的判断：基于电能表日冻结数据信息，判断用电用户每天日冻结数据采集成功情况，定位采集未成功的电能表信息及采集未成功的日期；

电能表未覆盖：基于营销业务应用系统电能表信息数据及采集系统电能表档案数据，判断电能表覆盖情况，定位出未覆盖的电能表信息以及对应的台区；

采集终端问题检测：基于用电信息采集系统日冻结数据、用电信息、通讯方式等数据，判断电能表采集失败是否由采集终端问题导致，定位出采集终端故障等导致的采集失败的电能表信息；

采集信道问题检测：基于用电信息采集系统日冻结数据、高频采样96点电压电流曲线、用电信息、通讯方式等数据，判断主站获取冻结数据失败是否由采集信息问题导致数据上传失败，定位出采集信息问题导致主站无法获取冻结数据的电能表信息。

所述计量量化误差检测模块包括：

计量量化误差的检测：计量误差主要分为系统误差、随机误差以及量化误差三类。目前电能表主要有0.5s级表、1级表和2级表，各等级表误差精确到不同，由于表精确度问题，表的计量量化结果会产生一定的误差，即为量化误差。运行误差监测模块会根据检测算法检测出量化误差，在计算误差时将量化误差考虑进去进行计算分析，提高计算精确度；

计量量化误差阈值配置：运行误差监测模块可在计算前手动设置误差阈值，运行误差监测模块会根据设置好的误差阈值进行误差计算及分析；

计量量化误差知识库构建：运行误差监测模块根据电能表的规格、准确度等级以及生产厂家批次号等信息、经过分析、总结，构建量化误差知识库；运行误差模块在计算的过程中结合量化误差计算电表运行误差，可以提高计算精确度，并可以根据现场核查误差不断精确完善量化误差知识库，提高算法模型计算精确度。

所述的异常值诊断模块包括：

日冻结数据跳变诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先上升后下降的电能表；

日冻结数据复位诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先复位到0后正常上升的电能表。

所述的采集数据缺失与错误检测模块包括：

总表示数数据缺失与错误检测:基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表历史供电信息存在冻结示数缺失的电能表及数据缺失的日期；

较大用户表数据缺失与错误检测：基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下某个较大用电量低压用户或多个较大用电量低压用户历史用电信息存在冻结示数缺失的电能表及数据缺失的日期；

总表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表互感器倍率缺失的电能表信息；

户表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下低压用户互感器倍率缺失的电能表信息；

电压电流缺失数据与错误检测：基于高频采样96点电压电流信息、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出电压电流数据缺失的电能表信息；

重复数据检测：基于电能表日冻结数据、营销业务应用系统档案变更数据，通过智能电能表运行误差监测模块模型，检测出日冻结数据存在重复的电能表信息；

所述的伪数检测算法自动识别疑似伪数数据包括：

对疑似伪数数据的电能表进行统计、分析：自动透抄表底数据、智能电能表运行误差监测模块会对用电信息采集系统日冻结示数信息进行分析，对疑似伪数数据的电能表进行统计，反馈至采集系统重新进行系统召测，透抄电能表表底数据并将数据主动上传至智能电能表运行误差监测模块，进行二次分析；

智能比对数据：智能电能表运行误差监测模块会对透抄回来的表底数据进行二次比对，重新分析数据；

比对结果上传：智能电能表运行误差监测模块对透抄回来的表底数据比对后，诊断出与源表底数据不同的电能表信息，通过sg-mds系统通道将比对后存在差异的结果上传至国网总部。

所述的缺失数据补全模块包括：

日冻结数据平滑处理：数据天数的缺失会降低计算的准确性，针对这种情况，数据处理模块通过用户总体数据情况进行均值计算补全；对于数据中出现倒走、跳数或者读数为0等异常数据，模型会根据整体数据情况分析出异常情况数据，然后通过平滑过滤处理过滤异常数据，减少异常数据对模型计算的准确性；

综合倍率补全：对于虚拟倍率缺失情况，模型根据能量守恒定律公式进行计算，得到对应值，并根据计算所得的值通过专家知识库得到虚拟倍率进行补全；所述的能量守恒定律公式为总表供电量＝用户表总用电量+线损+固定损耗；

换表行为分析及数据补全：对于有过轮换的电能表，数据处理模块判断有换表行为后，将换表前后的数据进行合并处理，对于缺失数据进行补0处理。

所述的数据治理结果指标与评价模块包括：

数据治理结果指标展示：运行误差监测模块根据不同周期的计算结果情况进行比对，获得各数据问题比对结果，将各问题比对信息进行展示；

数据治理结果指标评价：运行误差监测模块根据比对结果得到数据治理进度情况，将治理进度情况进行展示。

本发明创新数据清洗与数据质量评价规则，固化数据清洗与转换模型。通过对用电信息采集系统的电能计量数据和营销档案数据进行综合分析，对电能表进行运行误差远程诊断，对确属计量不合格和故障的电能表通过计量装置更换流程进行更换，实现电能表的“周期检定”向“失准更换”的转变，节约大量的人力物力成本，减少电子产品对环境的污染，符合国家倡导的新时代绿色可持续发展理念，同时极大提升电能表精细化运维管理水平。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。