本发明涉及一种基于大数据技术的配电网关键指标分析方法，属配电网技术领域。
背景技术：
配网处于整个电网的末梢，是电力企业面向社会的窗口，配网运行管理直接关系千家万户，社会责任和影响巨大，随着社会的不断发展，对配电网的精益化管理提出了越来越高的要求。配电网具有点多、线长、面广的特点，随着用电信息系统的发展，采集装置的日益先进，大部分配网公用配变具备了采集电流、电压、功率的条件，有效的利用公变运行数据对关键指标进行统计分析，对于及早发现公变运行异常、采集数据质量、传输通道问题具有重要的实际意义。
目前，电网领域已提出公变三相不平衡、低电压、重过载等传统指标统计分析，能够较好的反映出配电网公变的运行情况，及时开展整治工作。然而随着公变运行数据的逐步累积，传统分析方法已日渐乏力，因此，本文提出基于大数据技术的配电网关键指标统计分析，同时从数据源头掌控整体情况，更有利于开展整治工作，指定整治措施。
技术实现要素：
本发明的目的在于，弥补传统指标分析效率低下的缺点，利用大数据技术提高数据分析效率，同时构建完整率、采集率计算模型，用以整体分析公变运行情况及数据质量，公开一种基于大数据技术的配电网关键指标分析方法。
本发明采用的技术方案是：一种基于大数据技术的配电网关键指标分析方法，包括下列步骤：
（1）运行电能表将已采集的公变电流、电压、功率通过采集终端送至用电信息采集主站，利用sqoop技术从关系型数据库中将公变运行数据抽取至hbase数据库中；
（2）从hbase库中将公变运行数据加载至分布式内存中；
（3）利用分布式内存并行计算框架，在公变运行数据基础上，结合省公司单位信息，分析公变接入信息和各单位公变数量，公变接入信息主要包括运维单位、公变编码、最近一次接入时间（接入及时率主要通过该信息来判断），各单位公变数量主要包括运维单位、公变数量（主要用于支撑完整率和采集率计算分析）等信息；
（4）依托分布式内存并行计算框架，基于公变接入信息和各单位公变数量，依据指定规则：如果用电信息采集系统每日在8点前将公变运行数据送至业务数据库，则判定该单位公变接入及时率为100%；否则该单位公变接入及时率为0%；
（5）构建公变采集率计算模型：公变采集率=（已采集公变运行数据的公变数量/配网公变总数）×100%,计算分析各单位公变采集率；
（6）构建完整率计算模型：完整率=（实际采集公变运行数据点数/应采集公变运行数据点数）×100%,计算分析各单位完整率。公变运行数据点数：公变运行数据包括三相电流、三相电压、四相功率，每台公变每天按照指定频率（1/2/3）每相采集24点、48点、96点三种情况之一。
（7）根据统计分析的关键指标及时掌握配电网运行数据情况，并及时制定整改措施。若完整率较低，则说明电能表采集数据质量不高或者传输过程中有漏数的情况；若采集率较低则表明具备采集运行数据的电能表覆盖面较低或公变运行数据传输过程中全部丢失；若接入及时率较低则表明数据传输网络延迟较大或业务数据库负荷较大。
本发明的有益效果在于，本发明结合用电信息采集的公变电流、电压、功率等运行数据，依托于大数据技术-分布式并行计算框架对公变运行数据按照完整率、采集率等模型进行快速有效的分析，通过完整率、采集率、及时率等关键指标的掌控，不但可以宏观掌控变压器的运行健康情况，还能发现采集装置和数据传输通道缺陷，对发现设备潜在的故障隐患，确保电力系统安全稳定的运行具有重要的实际意义。
附图说明
图1是本发明基于大数据技术的配电网关键指标分析方法流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，本实施例一种基于大数据技术的配电网关键指标分析方法，方法具体步骤如下：
（1）运行电能表将已采集的公变三相电流、三相电压和四相功率通过采集终端送至用电信息采集主站，利用sqoop技术从关系型数据库中将公变运行数据抽取至hbase数据库中；
（2）在hbase库中，公变运行信息已台区标识和时间为键，各电压、电流、功率位置的方式存储，主要是为了便于按台区、时间获取采集数据。从hbase库中将公变运行数据加载至分布式内存中；
（3）利用分布式内存并行计算框架，在公变运行数据基础上，结合省公司单位信息，分析公变接入信息和各单位公变数量，公变接入信息主要包括运维单位、公变编码、最近一次接入时间（接入及时率主要通过该信息来判断），各单位公变数量主要包括运维单位、公变数量（主要用于支撑完整率和采集率计算分析）等信息；
（4）分布式内存并行计算框架是将公变运行数据加载至内存，并利用哈希散列技术将公变运行数据分配至指定节点中，同时计算框架考虑每个节点负载均衡问题，将计算逻辑分发至每个数据块中，每个节点同时对数据块进行分析统计，通过台区标识、营销侧公变标识、运检侧公变标识使公变运行数据与运检侧公变关联，同时记录每台公变接入时间，最终将每个节点中公变接入时间信息汇总至某个指定节点。依据指定规则：如果用电信息采集系统每日在8点前将公变运行数据送至业务数据库，则判定该单位公变接入及时率为100%；否则该单位公变接入及时率为0%；
（5）分布式内存并行计算框架是将公变运行数据加载至内存，并利用哈希散列技术将公变运行数据分配至指定节点中，同时计算框架考虑每个节点负载均衡问题，将计算逻辑分发至每个数据块中，每个节点依次遍历公变电流、电压、功率值判断是否有数据采集，如果电流、电压、功率值不为空，则记为有值接入，然后通过台区标识、营销侧公变标识、运检侧公变标识使公变运行数据与运检侧公变关联，接着将每个计算节点中相关信息汇总至指定节点，统计已采集公变运行数据的公变数量，最后依据规则：公变采集率=（已采集公变运行数据的公变数量/配网公变总数）×100%,计算分析各单位公变采集率；
（6）分布式内存并行计算框架是将公变运行数据加载至内存，并利用哈希散列技术将公变运行数据分配至指定节点中，同时计算框架考虑每个节点负载均衡问题，将计算逻辑分发至每个数据块中，每个节点依次遍历公变电流、电压、功率值记录不为空的点数，通过台区标识、营销侧公变标识、运检侧公变标识使公变运行数据与运检侧公变关联，记录公变对应采集的电流、电压、功率总点数，接着将每个计算节点中相关信息汇总至指定节点，统计出所有公变实际采集的电流、电压、功率点数，最后依据规则：完整率=（实际采集公变运行数据点数/应采集公变运行数据点数）100%，计算分析各单位完整率。公变运行数据点数：公变运行数据包括三相电流、三相电压、四相功率，每台公变每天按照指定频率（1/2/3）每相采集24点、48点、96点三种情况之一。
（7）根据统计分析的关键指标及时掌握配电网运行数据情况，并及时制定整改措施。若完整率较低，则说明电能表采集数据质量不高或者传输过程中有漏数的情况；若采集率较低则表明具备采集运行数据的电能表覆盖面较低或变运行数据传输过程中全部丢失；若接入及时率较低则表明数据传输网，络延迟较大或业务数据库负荷较大。
本实施例结合用电信息采集的公变电流、电压、功率等运行数据，依托于大数据技术-分布式并行计算框架对公变运行数据按照完整率、采集率等模型进行快速有效的分析，通过完整率、采集率、及时率等关键指标的掌控，不但可以宏观掌控变压器的运行健康情况，还能发现采集装置和数据传输通道缺陷，对发现设备潜在的故障隐患，确保电力系统安全稳定的运行具有重要的实际意义。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。