电力传输设备监控数据处理方法
【技术领域】
[0001] 本发明涉及电网数据处理，特别涉及一种电力传输设备监控数据处理方法。
【背景技术】
[0002] 随着电网规模的快速增长、电网结构日趋复杂，电力企业纷纷加大电力传输设备 监控的推广和应用力度，获取与传输的各类数据也在发生几何级的增长。这些数据不仅包 括了设备异常时出现的各类信号、运行中的各类设备的状态信息，同时还包含了大量的相 关数据，如地理信息、天气、现场温度与湿度以及检测视频、图像以及相关文档等，逐渐构成 电力传输设备监控数据。大量的监控节点不断地向数据平台传递采集的数据，形成海量的 异构数据流。数据平台不仅需要可靠地存储这些数据，而且需要及时地分析和处理这些数 据。虽然现有技术基于云计算平台处理海量监控数据，但是与互联网领域的云计算应用相 比，电力传输设备监控无论在数据存储、通信还是计算方面都存在很大差异。如何对上述数 据进行高效、可靠地存储，并快速访问和分析，是当前急需解决的问题。
【发明内容】
[0003] 为解决上述现有技术所存在的问题，本发明提出了一种电力传输设备监控数据处 理方法，包括：
[0004] 根据监控数据的关联性和时间和空间属性进行多重备份的一致性散列存储，利用 并行计算框架对多个监控数据源进行组合检索和并行检索和特征分析。
[0005] 优选地，所述根据监控数据的关联性和时间和空间属性进行多重备份的一致性散 列存储，进一步包括：
[0006] 获取每个监控设备采集数据的时间和空间特性，即数据对应的采集时间和采集地 点以及自定义相关系数作为数据检索和分析的关键字；在云平台中将数据存储为3个备份 版本；利用一致性散列将数据的第1备份按照监控设备编号进行散列映射；将数据的第2 备份按照采集时间数据进行散列映射；将数据的第3备份按照自定义相关系数进行散列映 射，所述相关系数为监控数据的特定属性，其根据上层应用程序的需要来赋值；所述一致性 散列存储进一步包括以下过程：
[0007] 1)通过配置文件预定义监控数据的所述相关系数以及冗余备份的数量；
[0008] 2)计算云平台中每个存储节点的散列值，并将其配置到预先建立的循环散列队列 区间上；
[0009] 3)根据监控数据的时间和空间属性以及相关系数计算数据的散列值，对云平台下 存在的数据多个备份的第1备份，根据数据的来源，即监控设备编号，计算第一散列值，将 其映射到循环散列队列上；对第2备份，根据监控数据的时间属性即采集时间数据，计算第 二散列值，并将其映射到循环散列队列上；对第3备份，根据数据的相关系数计算第三散列 值，并将其映射到循环散列队列上；如果云平台配置有3个以上的备份，则交替按照上述第 一至第三备份的方式计算其散列值并依次映射到循环散列队列上；
[0010] 4)根据数据散列值和存储节点散列值确定数据的存储位置，按顺时针将数据映射 到距离其最近的存储节点上；
[0011] 5)若数据将存储的节点出现空间不足情况，则跳过当前节点以寻找下一个存储节 占.
[0012] 此外，在进行数据读取时，名字节点根据存储节点与客户端之间的距离对多个存 储节点进行排序后返回给客户端，以从最近的节点读取数据，其中，两个节点之间的距离定 义为一个节点到达另一个节点所经过的节点数。
[0013] 优选地，所述对多个监控数据源进行组合检索，进一步包括：
[0014] 根据以下条件进行检索：设备属性数据，即名称、运行时间、安装地点、本体参数， 监控数据即导线温度、载流量、拉力、环境数据即环境温度、湿度和气压、地理信息数据即海 拔、经炜度；将不同的数据源进行数据连接，所述不同的数据源来自于多个文件；监控设备 对绝缘端子泄漏电流、导线张力、导线电流、导线温度、微气象数据进行统一的数据采集并 上传，在绝缘端子异常、导线接头过热或失衡的情况下进行相关的信息报警；其中在监控泄 漏电流的过程中，利用设备属性数据文件、绝缘端子泄漏电流数据文件和环境数据文件这3 个数据文件进行检索，生成监控设备预定时间内的监控数据，并将3个数据文件进行连接 处理以进行组合检索；
[0015] 在电力传输设备监控数据完成存储之后，对数据进行检索的方法是在map端执行 的并行查询方法，在map阶段完成数据的过滤及连接过程而避免进行reduce阶段，检索包 括以下步骤：
[0016] 1)根据用户提出的检索条件，对数据进行过滤，去除不满足条件的数据；
[0017] 2)根据检索需求，设定主键；所述主键为监控设备编号、时间数据或者相关系数；
[0018] 3)对各数据源的每条记录，采用数据文件名作为标签进行标记；
[0019] 4)根据主键将相同属性值的记录切分到一组，并进行数据连接；
[0020] 组合检索的map过程中的过滤、标记设定、分组排序、连接操作在本地节点进行， 然后组合检索的结果输出到分布式文件系统；
[0021] 并且，所述对多个监控数据源进行并行检索和特征分析，进一步包括：
[0022] 基于多通道时间序列的动态相互关系，对多通道同步采集的信号数据进行整合特 征提取，首先将数据上传至分布式文件系统，由分布式文件系统将数据分块，并随机分布到 多个存储节点上，多通道时间序列的动态相互关系的计算在reduce阶段完成，计算结果输 出到分布式文件系统中保存，利用数据的时间关联性，将采集时间数据作为关键字计算散 列存储位置，所述特征提取过程进一步包括：
[0023] 1)计算任务时间，对数据进行过滤，去除不满足时间条件的数据；2)将时间数据 作为主键，对每条记录进行标记；3)根据主键将相同属性值的记录切分到一组，并调用多 变量样本熵计算过程，将计算结果输出到分布式文件系统。
[0024] 本发明相比现有技术，具有以下优点：
[0025] 本发明提出了一种电力传输设备监控数据的处理方法，基于云计算技术对监控数 据进行高效、可靠地存储，并且实现快速访问和分析。
【具体实施方式】
[0026] 下文提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发 明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸 多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出 于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权 利要求书实现本发明。
[0027] 本发明基于云平台进行电力传输设备监控数据存储和并行分析处理的研究；考虑 数据的关联性和时间和空间属性，提出数据关联性的多重备份一致性散列存储方法，并对 云平台的数据切分策略以及云平台网络架构规划进行优化。在此基础上，基于并行框架实 现监控数据的数据源并行检索和多通道数据整合特征提取并行计算。
[0028] 从电力传输设备监控数据平台的上层应用程序角度考虑，数据的分布主要受以下 因素的影响：1)数据需要尽量均匀的分布到云平台中各节点，以保持负载均衡；2)云平台 云平台中节点故障被视为一种常态，优化数据分布时需要考虑节点失效问题；3)为保证数 据的可靠性及检索处理效率，需要采取多重备份方案；4)云平台运行环境下，网络传输及 磁盘I/O操作是影响整体性能的重要因素，如果能减少数据的通信量，将会有效减少数据 处理时间。以监控系统中常用的数据关联检索为例，在执行并行计算关联检索时，采用标准 的云平台数据布局方案（未考虑数据关联性），连接操作需要在Reduce阶段完成。在Map 阶段，所有数据在多个节点上进行分组排序，之后由reduce任务的节点通过远程访问的方 式进行数据下载。在这个过程中，可能有大量与最后连接操作无关的数据也在网络中被复 制和传输。如果在