基于HDFS的故障推送系统的制作方法

本发明涉及故障处理方式，尤其涉及基于hdfs的故障推送系统。

背景技术：

输变电设备负荷数据与电网资源数据分别存储在不同的内网系统，因此在将输变电设备负荷数据采集并存储至电网系统公共数据库时，需要将输变电设备负荷数据按照电力标准规范解析，才能达到可以使用的目的。

输变电设备负荷数据主要包括电网输变电设备的各种实时的信息(包括频率、发电机功率、线路功率、母线电压等)，现主要存储在电力综合自动化系统，主要为电网调度管理人员提供电网各种实时的信息，并对电网进行调度决策管理和控制，保证电网安全运行，提高电网质量和改善电网运行的经济性。其数据发生周期短，有的数据发生改变的周期为1分钟，比如发电机功率、线路功率等；

以往的数据接入，只是单一的接入并存储，其接入过程中的对可能出现的故障缺乏准确分类的判断和记录，不适用于确保数据的完整性，有鉴于此，有必要对现有技术中予以改进，以解决上述问题。

技术实现要素：

本发明的目的在于提供基于hdfs的故障推送系统，其中hdfs，是hadoopdistributedfilesystem的简称，是hadoop抽象文件系统的一种实现。hadoop抽象文件系统可以与本地系统、amazons3等集成，甚至可以通过web协议（webhsfs）来操作。hdfs的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。

hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。hdfs放宽了一部分posix约束，来实现流式读取文件系统数据的目的。

一旦数据存在故障，则需要第一时间将故障信息进行推送，使得用户能及时解除故障背后的问题，故对数据传输的及时性需要有较高要求，本发明能迅速建立故障数据处理机制，更好实现故障处理。

为实现上述目的，本发明提供了基于hdfs的故障推送系统，应用于输变电设备，包括：

数据信息采集模块，实时采集输变电设备、气象信息、交通路况、维修人员数据；

存储模块，将上述数据信息采集模块采集的数据分为结构化和非结构化数据，对应存储于分布式文件系统hdfs中；

分区模块，在所述hdfs存储节点上创建新的数据块，根据得到的hdfs存储节点的信息，向对应hdfs存储节点发送数据进行存储；

调度模块，各模块在系统调度模块的协调下运作，实现信息在各模块之间的调度、流转；

分析模块，对存储的数据设定安全阈值和警戒阈值，根据安全阈值和警戒阈值的不同，生成不同维度的故障的预警、跟踪及处理机制。

上述与现有技术中不同，数据信息采集模块仅仅采集输变电设备自身的数据，然后根据数据变化进行分析故障地点；本方案中，将外界影响数据一并进行采集，包括但不限于气象信息，该气象数据对应一旦产生故障之后的处理流程参考具有非常重要的参考作用，比如故障处于微小状态，天气晴朗情况下，此处微小状态的故障可以暂缓处理；

若故障虽然处于微小状态，但是当前天气处于恶劣天气情况，则也需要立即处理，在此恶劣天气环境下，微小状态的故障也可能演变为大的故障，会影响输变电设备的正常工作。

至于说交通路况，为了规划处更好处理路径进行参考用，类似于根据故障类型，分别派出哪个维修人员，走哪条交通道路，更能迅速进行排除故障；因为根据不同故障类型，选择不同经验的维修人员，一样对故障排除时间具有很大的推动作用。

在本发明的一个优选实施例中，分区模块获取待处理的文件的位置和名称后，所述分区模块包括第一分区集群以及第二分区集群，将所述结构化数据的基础数据存储至第一分区集群，将所述非结构化的松散数据存储至第二分区集群。

在本发明的一个优选实施例中，若存储的数据超出安全阈值，若存储的数据超出安全阈值则发送异常数据至后台服务器警示；且同时数据信息采集模块即可调用当下气象信息、交通路况，并同时匹配维修人员待命，根据数据进度进行即可处理。

在本发明的一个优选实施例中，若存储的数据超出警戒阈值则发送处理流程至后台服务器，该处理流程与当下状态优选出最佳处理流程路径。

在本发明的一个优选实施例中，存储的数据超出安全阈值和警戒阈值，则自动生成监控数据明细表，当确定出存储所述监控数据明细表的服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的服务器。

在本发明的一个优选实施例中，还包括预警模块，根据所述监控数据明细表进行分析，进行实现输变电设备的故障诊断、故障分析、故障预测，从而实现故障的提前预测。

在本发明的一个优选实施例中，所述预警模块中针对故障模式的分类模型进行分类，得到故障的决策网，并根据所述决策网得出故障类型，并自动生成处理流程。

与现有技术相比，本发明的有益效果是：

本发明将获得的各种数据进行整合，并分为结构化和非结构化数据后，统一存储于分布式文件系统hdfs中，并在内部建立故障数据的一套警示和处理流程，保证了故障处理的及时性和准确性，且根据长期使用，能对故障进行提前预测。

附图说明

图1为本发明的实施例1的工作原理框图。

图2为本发明的实施例2的工作原理框图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

请参图1所示，图1为本发明的工作原理框图。

实施例1：

在本实施方式中，基于hdfs的故障推送系统，应用于输变电设备，包括：

数据信息采集模块，实时采集输变电设备、气象信息、交通路况、维修人员数据；

与现有技术中不同，数据信息采集模块仅仅采集输变电设备自身的数据，然后根据数据变化进行分析故障地点；本方案中，将外界影响数据一并进行采集，包括但不限于气象信息，该气象数据对应一旦产生故障之后的处理流程参考具有非常重要的参考作用，比如故障处于微小状态，天气晴朗情况下，此处微小状态的故障可以暂缓处理；

若故障虽然处于微小状态，但是当前天气处于恶劣天气情况，则也需要立即处理，在此恶劣天气环境下，微小状态的故障也可能演变为大的故障，会影响输变电设备的正常工作。

至于说交通路况，为了规划处更好处理路径进行参考用，类似于根据故障类型，分别派出哪个维修人员，走哪条交通道路，更能迅速进行排除故障；因为根据不同故障类型，选择不同经验的维修人员，一样对故障排除时间具有很大的推动作用。

存储模块，将上述数据信息采集模块采集的数据分为结构化和非结构化数据，对应存储于分布式文件系统hdfs中；

分区模块，在所述hdfs存储节点上创建新的数据块，根据得到的hdfs存储节点的信息，向对应hdfs存储节点发送数据进行存储；

本方案中，根据结构化和非结构化数据不同，并对应生成不同的数据库予以存储，更好实现数据的拆分，能更快定位故障数据；比如设备数据的实时计算处于优先级，非设备设局的计算处于次优级。

调度模块，各模块在系统调度模块的协调下运作，实现信息在各模块之间的调度、流转；

分析模块，对存储的数据设定安全阈值和警戒阈值，根据安全阈值和警戒阈值的不同，生成不同维度的故障的预警、跟踪及处理机制。

更进一步地，分区模块获取待处理的文件的位置和名称后，所述分区模块包括第一分区集群以及第二分区集群，将所述结构化数据的基础数据存储至第一分区集群，将所述非结构化的松散数据存储至第二分区集群。

分为不同的分区集群，对于数据存储以及数据供分析模块进行分析，更为迅速。

实施例2：

相较于实施例1，本方案给出了存储的数据与当下的阈值之间的处理关系，具体如下：

若存储的数据超出安全阈值，若存储的数据超出安全阈值则发送异常数据至后台服务器警示；且同时数据信息采集模块即可调用当下气象信息、交通路况，并同时匹配维修人员待命，根据数据进度进行即可处理。

若存储的数据超出警戒阈值则发送处理流程至后台服务器，该处理流程与当下状态优选出最佳处理流程路径。

更重要地，存储的数据超出安全阈值和警戒阈值，则自动生成监控数据明细表，当确定出存储所述监控数据明细表的服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的服务器。

实施例3：

请参图2所示，除了如上述实施例1，实施例2以及实施例3描述的技术方案外，本方案中还包括预警模块，根据所述监控数据明细表进行分析，进行实现输变电设备的故障诊断、故障分析、故障预测，从而实现故障的提前预测。

另外预警模块中针对故障模式的分类模型进行分类，得到故障的决策网，并根据所述决策网得出故障类型，并自动生成处理流程。

本发明将获得的各种数据进行整合，并分为结构化和非结构化数据后，统一存储于分布式文件系统hdfs中，并在内部建立故障数据的一套警示和处理流程，保证了故障处理的及时性和准确性，且根据长期使用，能对故障进行提前预测。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。