本发明属于配电网指标分析领域，具体涉及一种基于大数据的配网设备运行状态分析方法及装置。
背景技术
配网处于整个电网的末梢，是电力企业面向社会的窗口，配网的运行管理直接关系千家万户，社会责任和影响巨大。随着社会的不断发展，对配网的精益化管理提出了越来越高的要求。配电网具有点多、线长、面广的特点，随着用电信息系统的发展，采集装置的日益先进，大部分配网公用配变具备了采集电流、电压、功率的条件，有效的利用公变运行数据对指标进行统计分析，对于及早发现公变运行异常、采集数据质量、传输通道问题具有重要的实际意义。
目前，公变三相不平衡、低电压、重过载等传统指标统计分析，能够较好的反映出配电网公变的运行情况，可以用于及时开展整治工作。然而随着配变运行数据的逐步累积，传统分析方法显得日渐乏力，因此，需要一种能够从数据源头掌控整体情况、更有利于开展整治工作和指定整治措施的分析方法。
技术实现要素：
本发明的目的在于提供基于大数据的配网设备运行状态分析方法及装置，能够有效提高数据分析的效率，同时构建配变重过载、低过电压、三相不平衡分析模型，用以整体分析配变运行情况及数据质量，为制定整治措施提供依据，进一步提升配电网运行水平。
为了解决上述技术问题，本发明是通过以下技术方案实现的：基于大数据的配网设备运行状态分析方法，采集配电负荷数据，将运检设备台账数据、营销基础数据平台的营销设备台账数据及配变负荷数据同步至hive数据仓库；
对配变负荷数据进行质量核查、修复完善；
从hive数据仓库中依据负载平衡策略将运检设备台账数据、营销设备台账数据和配变负荷数据加载至各工作节点中；
基于运检设备台账数据、营销设备台账数据和配变负荷数据分别建立配变重过载分析模型、低电压分析模型和三相不平衡分析模型，各工作节点根据已建立的模型分析配网设备运行状态，得到指标分析结果，完成配网整体运行状态分析。
优选的，所述的设备资产精益运维管理系统的电网台账数据包括：运检侧配变台账信息；
所述的营销基础数据平台的营销设备台账数据包括：营销侧台区信息、营销侧台区信息与运检侧配变信息对应关系。
优选的，所述的将设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据及用电信息采集的配变负荷数据同步至hive数据仓库的具体过程为：
通过spark分布式同步程序将设备资产精益运维管理系统运检侧配变台账信息、营销基础数据平台营销侧台区信息、营销侧台区信息与运检侧配变信息对应关系、用电信息采集系统负荷数据主要是配变的电流、电压和功率抽取至内存中；
通过spark程序将基于关系型数据存储的设备资产精益运维管理系统运检侧配变台账信息、营销基础数据平台营销侧台区信息、营销侧台区信息与运检侧配变信息对应关及用电信息采集系统负荷数据模型转换为基于hive存储的模型，并将数据存入hive数据仓库中。
优选的，所述基于大数据技术对用电信息采集的配变负荷数据进行质量核查、修复完善，具体包括以下步骤：
首先将用电信息采集的配变负荷数据和停电事件；
然后遍历配变每一条电流数据，若电流漏点的时间段不在停电时间段内，求取漏电处电流平均值；
其次遍历配变每一条电压数据，针对电压数据中漏点情况，若电压漏点的时间段不在停电时间段内，求取漏电处电压平均值，并基于电压平均值对当前电压进行修复；
接着遍历配变每一条功率数据，若功率漏点的时间段恰好在停电时间段内，求取漏电处功率平均值，并基于功率平均值对当前功率进行修复；
最后将包括电流、修复后的电压和修复后的功率在内的配变负荷数据更新至hive数据仓库。
优选的，所述从hive数据仓库中依据负载平衡策略将运检设备台账数据、营销设备台账数据及用电信息配变负荷数据加载至大数据平台的各工作节点中的具体过程为：
将运检侧设备台账数据、营销设备台账数据及用电信息配变负荷数据分割成若干个数据块，并根据每个计算节点负载情况，按照设定的规则将数据块分配至设定的节点中；
将配变运行状态分析逻辑分发至每个节点中的数据块中。
优选的，所述的建立配变重过载分析模型，配变重过载模型具体为：
配变重过载分析模型：依据配变采集负荷功率曲线，计算每点对应的负载率值，若连续8个点，即持续发生2小时，负载率值[80％,100％)之间，定义为配变重载；若连续8个点，即持续发生2小时，负载率值[100％,150％)之间，定义为配变过载；其中，负载率＝配变总功率*综合倍率/配变额定容量；配变是指正处于运行状态且非用户资产的变压器。
优选的，所述的建立配变低过电压分析模型，所述配变低过电压模型具体为：
配变低过电压分析模型：依据配变采集负荷电压曲线，分析每点对应的电压值，若连续4个点，即持续发生1小时，电压值[150v,198v)之间，定义为配变低电压；若连续4个点，即持续发生1小时，电压值[235.4v,280v)之间，定义为配变过电压；
其中，198v是取标称电压值220v的90％，235.4v是取标称电压值220v的107％。
优选的，所述的建立配变三相不平衡分析模型具体为：
配变三相不平衡分析模型：依据配变采集负荷电流和功率曲线，分析每点对应的三相电流值，若连续8个点，即持续发生2小时，三相电流不平衡度>25％且负载率>60％，定义为配变三相平衡；
其中，负载率＝配变总功率*综合倍率/配变额定容量；三相电流不平衡度＝(最大电流-最小电流)/最大电流。
优选的，所述的根据已建立的计算模型分析配网设备运行状态，具体过程为：
集中器主要包括载波模块、红外模块、通讯模块、电表计和脉冲模块，依据dl/t698.34和dl/t698.34规范，通过rs485口采集配变电流、电压、功率曲线，在采集的配变负荷曲线为基础，，根据配变重过载、低过电压、三相不平衡分析模型，分析营销侧台区运行状态；
根据营销侧台区信息、营销侧台区与运检侧配变对应关系、运检侧配变信息实现台区与配变的一一对应，从而实现运检侧配变运行状态分析。
基于大数据的配网设备运行状态分析装置，包括：
数据采集模块，采集配电负荷数据；
数据同步模块，将运检设备台账数据、营销基础数据平台的营销设备台账数据及配变负荷数据同步至hive数据仓库；
数据修复模块，基于大数据技术对配变负荷数据进行质量核查、修复完善；
数据加载模块，从hive数据仓库中依据负载平衡策略将运检设备台账数据、营销设备台账数据和配变负荷数据加载至大数据平台的各工作节点中；
数据分析模块，基于运检设备台账数据、营销设备台账数据和配变负荷数据分别建立配变重过载分析模型、低电压分析模型和三相不平衡分析模型，各工作节点根据已建立的模型分析配网设备运行状态，得到指标分析结果，完成配网整体运行状态分析。
与现有技术相比，本发明的优点是：本发明结合用电信息采集系统采集的公变电流、电压、功率等运行数据，依托于大数据技术对配变运行数据，按照配变重过载、低过电压、三相不平衡分析模型进行快速有效的分析，通过配变重过载、低过电压、三相不平衡等关键指标的掌控，不但可以宏观掌控变压器的运行健康情况，还能发现采集装置和数据传输通道缺陷，对发现设备潜在的故障隐患，确保电力系统安全稳定的运行具有重要的实际意义。
具体实施方式
通过下面的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
随着公变运行数据的逐步累积，传统分析方法显得日渐乏力，因此，本发明提出一种基于大数据的配网设备运行状态分析方法及装置，能够有效提高数据分析的效率，同时构建配变重过载、低过电压、三相不平衡分析模型，用以整体分析配变运行情况及数据质量，为制定整治措施提供依据，进一步提升配电网运行水平。
实施例一：
一种基于大数据的配网设备运行状态分析方法，包括：
步骤s1：
依据dl/t698.34和dl/t698.34规范，通过集中器rs485口采集配变电流、电压、功率曲线，基于大数据技术对用电信息采集的配变负荷数据进行质量核查、修复完善；
通过spark将设备资产精益运维管理系统的电网台账数据数据、营销基础数据平台的营销设备台账数据及用电信息采集的配变负荷数据(主要包括电流、电压、功率)同步至hive数据仓库；
所述步骤s1具体包括以下步骤：
s1.1：用电信息采集终端将采集的配变电流、电压、功率传送至用电信息采集主站系统，用电信息采集主站系统将负荷数据同步至营销基础数据平台；
s1.2：通过spark分布式同步程序从某单位营销基础数据平台中将指定一天配变的电流、电压功率抽取至内存中；
s1.3：通过spark分布式同步程序从某单位营销基础数据平台中将该单位的营销侧台区信息、营销侧台区信息与运检侧配变信息对应关系抽取至内存中；
s1.4：通过spark分布式同步程序从某单位设备资产精益运维管理系统中将运检侧配变台账信息抽取至内存中；
s1.5：在内存中利用spark程序将基于关系型数据存储的运检侧配变台账信息、营销基础数据平台营销侧台区信息、营销侧台区信息与运检侧配变信息对应关及用电信息采集系统负荷数据模型转换为基于hive存储的模型，并将数据存入hive数据仓库中。
步骤s2：基于大数据技术对用电信息采集的配变负荷数据进行质量核查、修复完善；
具体地：
s2.1：从hive数据仓库的配变电流曲线表中，将已存储的某天的电流数据抽取至内存中；
s2.2：spark程序遍历每一条电流曲线的96个电流值，若存在漏点情况，结合该天的实际停电事件分析漏点的合理性。如果是因为信道或终端采集的问题，采取修复措施，按照it＝(it+1+it-1)/2规则处理。例如上一时刻点电流值为2.1a，下一时刻电流值为2.3a，则当前电流值为2.2a，以2.2a代替漏点电流值，提高配变三相不平衡分析正确性、合理性；
s2.3：按s2.2方法更新每个漏点电流值，存储至hive数据仓库中；
s2.4：从hive数据仓库的配变电压曲线表中，将已存储的某天的电压数据抽取至内存中；
s2.5：spark程序遍历每一条电压曲线的96个电压值，若存在漏点情况，结合该天的实际停电事件分析漏点的合理性。如果是因为信道或终端采集的问题，采取修复措施，按照ut＝(ut+1+ut-1)/2规则处理。例如上一时刻点电压值为221.3v，下一时刻电压值为220.3v，则当前电压值为220.8v，以220.8v代替漏点电压值；同时分析每一个电压异常点，若电压值>280v或电压值<150v，定义为电压异常点，同样按照上述方法修复，提高配变低过电压分析正确性、合理性；
s2.6：按s2.5方法更新每个漏点或异常电压值，存储至hive数据仓库中；
s2.7：从hive数据仓库的配变功率曲线表中，将已存储的某天的功率数据抽取至内存中；
s2.8：spark程序遍历每一条功率曲线的96个功率值，若存在漏点情况，结合该天的实际停电事件分析漏点的合理性。如果是因为信道或终端采集的问题，采取修复措施，按照pt＝pt-1+(pt-1-pt-2)规则处理。例如上一时刻点功率值为380.8kw，上二时刻功率值为370.6kw，则当前功率值为391kw，以391kw代替漏点功率值；同时分析每一个功率异常点，若终端采集的功率数据乘综合倍率的数值大于用户合同容量的10倍，定义为功率异常点，同样按照上述方法修复，提高配变重过载分析正确性、合理性。
步骤s3：基于大数据平台，建立配网设备运行状态分析模型，结合运检侧设备台账数据、营销侧设备台账数据及用电信息采集的配变负荷数据分别计算出配网设备运行状态各分析指标的值；即：大数据平台将配变重过载、低过电压、三相不平衡分析模型分发至每个工作节点，每个工作节点分析配变重过载、低过电压、三相不平衡，评价配网设备运行状态；
在本发明实施例中，所述的配网设备运行状态分析模型包括配变重过载模型、配变低过电压模型和配变三相不平衡模型；
所述配变重过载模型，具体为：
配变重过载分析模型：依据配变采集负荷功率曲线，计算每点对应的负载率值，若连续8个点(即持续发生2小时)负载率值[80％,100％)之间，定义为配变重载；若连续8个点(即持续发生2小时)负载率值[100％,150％)之间，定义为配变过载；其中，负载率＝配变总功率*综合倍率/配变额定容量；配变是指正处于运行状态且非用户资产的变压器。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变重过载的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，按照步骤2利用spark程序清洗、修复配变功率异常数据或由于终端、信道问题引起的漏点数据，依次遍历功率数据，若当前时刻功率数据点分析出的负载率处于[80％,100％)之间，继续分析下一时刻功率数据点，若连续8个及以上点负载率值均在[80％,100％)之间，则判断该配变发生重载，并记录第一个点对应时间及最后一个点对应时间，记为配变重载发生时间和重载结束时间；若当前时刻功率数据点分析出的负载率处于[100％,150％)之间，继续分析下一时刻功率数据点，若连续8个及以上点负载率值均在[100％,150％)之间，则判断该配变发生过载，并记录第一个点对应时间及最后一个点对应时间，记为配变过载发生时间和过载结束时间。将所有发生重过载配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变重过载情况。
所述配变低过电压模型具体为：
配变低过电压分析模型：依据配变采集负荷电压曲线，分析每点对应的电压值，若连续4个点(即持续发生1小时)电压值[150v,198v)之间，定义为配变低电压；若连续4个点(即持续发生1小时)电压值[235.4v,280v)之间，定义为配变过电压；其中，198v是取标称电压值(220v)的90％，235.4v是取标称电压值(220v)的107％。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变低过电压的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，利用spark程序清洗、修复配变电压异常数据或由于终端、信道问题引起的漏点数据，依次遍历电压数据，若当前时刻电压数据值处于[150v,198v)之间，继续分析下一时刻电压数据点，若连续4个及以上点电压值均在[150v,198v)之间，则判断该配变发生低电压，并记录第一个点对应时间及最后一个点对应时间，记为配变低电压发生时间和低电压结束时间；若当前时刻电压值处于[235.4v,280v)之间，继续分析下一时刻电压数据点，若连续4个及以上点电压值均在[235.4v,280v)之间，则判断该配变发生过电压，并记录第一个点对应时间及最后一个点对应时间，记为配变过电压发生时间和过电压结束时间。将所有发生低过电压配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变低过电压情况。
所述配变三相不平衡模型具体为：
配变三相不平衡分析模型：依据配变采集负荷电流和功率曲线，分析每点对应的三相电流值，若连续8个点(即持续发生2小时)三相电流不平衡度>25％且负载率>60％，定义为配变三相平衡；其中，负载率＝配变总功率*综合倍率/配变额定容量；三相电流不平衡度＝(最大电流-最小电流)/最大电流。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变三相不平衡的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，按照步骤2利用spark程序清洗、修复配变电流由于终端、信道问题引起的漏点数据，依次遍历电流数据，若当前时刻电流值对应的电流不平衡度>25％且当前功率值分析出来的负载率>60％，继续分析下一时刻电流数据点，若连续8个及以上点电流不平衡度>25％且负载率>60％，则判断该配变发生三相不平衡，并记录第一个点对应时间及最后一个点对应时间，记为配变三相不平衡发生时间和三相不平衡结束时间，将所有发生三相不平衡配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变三相不平衡情况。
步骤s4：根据各工作节点完成的指标分析结果，完成配网整体运行状态分析，具体为：
根据营销侧台区信息(关键字段：台区标识)、营销侧台区与运检侧配变对应关系(关键字段：台区标识-配变标识)、运检侧配变信息(关键字段：配变标识)实现台区与配变的一一对应，从而实现运检侧配变运行状态分析。
实施例二：
一种基于大数据的配网设备运行状态分析方法，包括：
通过spark将设备资产精益运维管理系统的电网台账数据数据、营销基础数据平台的营销设备台账数据及用电信息采集的配变负荷数据(主要包括电流、电压、功率)同步至hive数据仓库；
基于大数据技术对用电信息采集的配变负荷数据进行质量核查、修复完善；
从hive数据仓库中依据负载平衡策略将运检设备台账数据、营销设备台账数据及用电信息配变负荷数据加载至大数据平台的各工作节点中；
建立配变重过载、低电压、三相不平衡分析模型，各工作节点依托大数据平台，根据已建立的计算模型分析配网设备运行状态；
根据各工作节点完成的指标分析结果，完成配网整体运行状态分析。
在本发明实施例中，所述的配网设备运行状态分析模型包括配变重过载模型、配变低过电压模型和配变三相不平衡模型；
所述配变重过载模型，具体为：
配变重过载分析模型：依据配变采集负荷功率曲线，计算每点对应的负载率值，若连续8个点(即持续发生2小时)负载率值[80％,100％)之间，定义为配变重载；若连续8个点(即持续发生2小时)负载率值[100％,150％)之间，定义为配变过载；其中，负载率＝配变总功率*综合倍率/配变额定容量；配变是指正处于运行状态且非用户资产的变压器。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变重过载的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，按照步骤2利用spark程序清洗、修复配变功率异常数据或由于终端、信道问题引起的漏点数据，依次遍历功率数据，若当前时刻功率数据点分析出的负载率处于[80％,100％)之间，继续分析下一时刻功率数据点，若连续8个及以上点负载率值均在[80％,100％)之间，则判断该配变发生重载，并记录第一个点对应时间及最后一个点对应时间，记为配变重载发生时间和重载结束时间；若当前时刻功率数据点分析出的负载率处于[100％,150％)之间，继续分析下一时刻功率数据点，若连续8个及以上点负载率值均在[100％,150％)之间，则判断该配变发生过载，并记录第一个点对应时间及最后一个点对应时间，记为配变过载发生时间和过载结束时间。将所有发生重过载配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变重过载情况。
所述配变低过电压模型具体为：
配变低过电压分析模型：依据配变采集负荷电压曲线，分析每点对应的电压值，若连续4个点(即持续发生1小时)电压值[150v,198v)之间，定义为配变低电压；若连续4个点(即持续发生1小时)电压值[235.4v,280v)之间，定义为配变过电压；其中，198v是取标称电压值(220v)的90％，235.4v是取标称电压值(220v)的107％。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变低过电压的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，按照步骤2利用spark程序清洗、修复配变电压异常数据或由于终端、信道问题引起的漏点数据，依次遍历电压数据，若当前时刻电压数据值处于[150v,198v)之间，继续分析下一时刻电压数据点，若连续4个及以上点电压值均在[150v,198v)之间，则判断该配变发生低电压，并记录第一个点对应时间及最后一个点对应时间，记为配变低电压发生时间和低电压结束时间；若当前时刻电压值处于[235.4v,280v)之间，继续分析下一时刻电压数据点，若连续4个及以上点电压值均在[235.4v,280v)之间，则判断该配变发生过电压，并记录第一个点对应时间及最后一个点对应时间，记为配变过电压发生时间和过电压结束时间。将所有发生低过电压配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变低过电压情况。
所述配变三相不平衡模型具体为：
配变三相不平衡分析模型：依据配变采集负荷电流和功率曲线，分析每点对应的三相电流值，若连续8个点(即持续发生2小时)三相电流不平衡度>25％且负载率>60％，定义为配变三相平衡；其中，负载率＝配变总功率*综合倍率/配变额定容量；三相电流不平衡度＝(最大电流-最小电流)/最大电流。
所述依托大数据平台，结合设备资产精益运维管理系统的电网台账数据、营销基础数据平台的营销设备台账数据计算出配变三相不平衡的优选实现过程为：
大数据平台将用电信息采集负荷数据加载至内存中，按照步骤2利用spark程序清洗、修复配变电流由于终端、信道问题引起的漏点数据，依次遍历电流数据，若当前时刻电流值对应的电流不平衡度>25％且当前功率值分析出来的负载率>60％，继续分析下一时刻电流数据点，若连续8个及以上点电流不平衡度>25％且负载率>60％，则判断该配变发生三相不平衡，并记录第一个点对应时间及最后一个点对应时间，记为配变三相不平衡发生时间和三相不平衡结束时间，将所有发生三相不平衡配变的事件记录通过营销侧台区数据、营销侧台区数据与运检侧配变台账数据对应关系、运检侧配变台账数据进行关联，分析出对应运检配变三相不平衡情况。
上述方法采用的基于大数据的配网设备运行状态分析装置，包括：
数据采集模块，采集配电负荷数据；
数据同步模块，将运检设备台账数据、营销基础数据平台的营销设备台账数据及配变负荷数据同步至hive数据仓库；
数据修复模块，基于大数据技术对配变负荷数据进行质量核查、修复完善；
数据加载模块，从hive数据仓库中依据负载平衡策略将运检设备台账数据、营销设备台账数据和配变负荷数据加载至大数据平台的各工作节点中；
数据分析模块，基于运检设备台账数据、营销设备台账数据和配变负荷数据分别建立配变重过载分析模型、低电压分析模型和三相不平衡分析模型，各工作节点根据已建立的模型分析配网设备运行状态，得到指标分析结果，完成配网整体运行状态分析。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。