一种基于大数据技术的电力设备寿命管理方法与流程

本发明涉及大数据技术数据处理领域，具体地说是一种基于大数据技术的电力设备寿命管理方法。

背景技术：

随着社会经济的不断发展，人们对电力企业供电质量的要求越来越高。电力设备是电力企业发展的重要组成部分，也是支持电力企业正常运行的基础，电力设备运行状态的好坏直接影响到电力企业的发展。任何电力设备都有一定的使用年限，根据使用正当与否的情况，其老化速度也会发生变化。目前，我国电力企业中进入老化阶段的电力设备所占的比例越来越大，在实际工作中，往往是设备发生故障时才会对设备进行更换，而对设备的更换从立项到实施短则1年长则2年甚至更久。在这种情况下，设备超限运行，如不及时进行更新换代，很有可能导致电网某个业务的瘫痪，直接造成企业的重大经济损失。对于超年限运行的设备，如不及时进行更新换代，很有可能导致电网某个业务的瘫痪，直接造成企业的重大经济损失。以通信网为例，某地区用于调度和行政电话的交换机运行时间在15年左右，都已到达更新换代的年限，由于各种原因，设备的更换可能需要2年左右的时间。在这段时间内，交换机将处在超年限工作的状态，随时可能出现故障，严重的会造成大连地区调度、行政电话全部不可用。因此，运用大数据技术对电力设备的运行状态进行实时监控并做出预警对提高电网运行性能至关重要。

技术实现要素：

针对现有技术的不足，本发明提供一种基于大数据技术的电力设备寿命管理方法，解决现有方法需要等到设备发生故障时才会对设备进行更换导致的工作繁琐进度缓慢的问题，充分应用大数据分析和处理技术对全部设备数据进行计算，对电力设备的运行年数、运行状态进行分类统计，运用关联分析算法发现设备变量之间有意义的业务规则，最终用于设备的更新换代中并能够给出合理直观的预警。

本发明为实现上述目的所采用的技术方案是：

一种基于大数据技术的电力设备寿命管理方法，包括以下步骤：

步骤1：从大数据平台中抽取电力设备相关的结构化数据到数据库中；

步骤2：对抽取到数据库中的数据进行预处理，同时得到设备基础信息，将预处理后除设备运行时间的数据进行布尔变换，将设备运行时间进行年限划分，得到宽表数据；

步骤3：根据分布式apriori关联分析算法建立电力设备寿命管理模型。

所述电力设备相关的结构化数据包括：设备基础信息、设备维护记录、设备故障记录、停电事件、成本投入、招标采购、仓库库存及供应商数据。

所述设备基础信息包括设备运行时间、运行状态和缺陷处理情况

所述预处理包括：清除掉设备数据中无法匹配到的错误数据，处理空值和无关的数据指标字段值，并将过滤后的数据存储到新建库表中。

所述年限划分包括将设备运行时间以10年、20年、30年划分为4个年限区间。

所述根据分布式apriori关联分析算法建立电力设备寿命管理模型包括以下过程：

a)扫描宽表数据，按照设备类型生成模型所需第一候选集c1，再由第一候选集c1通过支持度过滤，生成第一频繁项集l1；

b)将第一频繁项集l1的数据项两两拼接成第二候选集c2；

c)从第二候选集c2开始，通过支持度过滤生成第二频繁项集l2，并根据apriori原理拼接成第三候选集c3，第三候选集c3通过支持度过滤生成第三频繁项集l3，以此类推，直至第k频繁项集lk中仅有一个或没有数据项，生成频繁项集列表；

d)根据频繁项集列表推导出关联规则，计算对应置信度，设置最小置信度值，筛选得出强关联规则。所述强关联规则为通过置信度删选得出的关联规则。

本发明具有以下有益效果及优点：

利用大数据技术，建立电力设备寿命管理方法，对电力设备运行状态给出科学的判断和预警，对电力设备的更新换代提供支撑，该方法投入使用后不仅能够提高电力设备的质量和运行效率，而且提高了电力设备的性能和维护管理水平，进一步保证电网正常运行，为电力用户提供优质电能。

附图说明

图1是本发明的方法流程图；

图2是本发明的发现频繁项集流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和有点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。如图1所示为本发明的方法流程图。

方法包括如下步骤：

步骤1、数据采集组件通过大数据平台sqoop组件将电力设备相关的结构化数据抽取到大数据平台分布式数据库hbase中。

步骤2、数据处理组件通过hive类sql语言hql编写脚本程序，对数据采集组件采集的电力设备相关结构化数据进行处理。

步骤2.1、根据设备id匹配具体设备明细，清除掉设备数据中无法匹配到的错误数据，处理空值及无关的数据指标字段值，将过滤后的数据存储到新建库表中。

步骤2.2、根据后续建模分析的需要，通过分布式数据仓库组件hive统计出每台设备运行时间、运行状态、缺陷处理情况等基础信息、设备维护记录、设备故障记录、停电事件、成本投入、招标采购、仓库库存及供应商数据；

步骤2.3、由于apriori算法是基于挖掘布尔变量关联规则频繁项集的算法，因此需对数据格式、数据粒度进行转换和规整。数据格式调整是将所有变量转化为布尔值，包括运行时间转换为年限并对年限进行划分(10年内、10～20年、20～30年及大于30年)，将划分后属性转换为独立变量，其余变量按此方法处理，数据粒度调整主要是确保设备的唯一性，最后形成分析模型所需要的宽表数据。

步骤3、数据计算组件，采用分布式apriori关联分析算法进行数据处理，从而得出电力设备参数之间的有意义联系，对设备更新换代提供价值参考，如图所示具体分析过程如下：

步骤3.1、扫描所有设备宽表数据，按照设备类型生成模型所需候选集合c1，再由c1通过支持度过滤，生成频繁项集l1。

步骤3.2、将l1的数据项两两拼接成c2。

步骤3.3、从候选项集c2开始，通过支持度过滤生成l2。l2根据apriori原理拼接成候选项集c3；c3通过支持度过滤生成l3......，直到lk中仅有一个或没有数据项为止。

步骤3.4、根据3.3产生的频繁项集列表推导出关联规则，并计算对应置信度；置信度计算方法为在先决条件x发生的情况下，由关联规则“x→y″推出y的概率；即在含有x的项集中，含有y的可能性，设置最小置信度值，筛选后得出强关联规则。

步骤3.5、根据候选项集列表找出设备变量之间的内在联系，发现设备更新换代前所出现的公共特征。本发明还包括一种电力设备寿命管理模块，该模块中包括：数据采集组件、数据处理组件、数据计算组件；所述数据采集组件通过大数据平台sqoop组件将电力设备相关数据抽取到大数据平台分布式数据库hbase中，sqoop是一款开源工具，主要用于数据的传递，hbase数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统；

所述数据处理组件通过hive类sql查询语言hql进行数据提取统计，hive是一种分布式数据仓库组件，它定义了简单的类sql查询语言hql，允许熟悉sql的用户进行数据查询和处理；

所述数据计算组件通过apriori关联分析技术的应用来实现电力设备寿命管理，apriori算法是一种发现频繁项集的算法，该算法能够在大数据集中发现业务之间的有意义联系，能够大量减少计算代价，大幅度提高搜索速度。

如图2所示为本发明的发现频繁项集流程图。

选取一种设备类型(变压器、断路器、避雷器、电流互感器、隔离开关等)的示例数据：

1)扫描所有设备数据，生成候选集合c1＝{(x1)，(x2)，…，(x5)}；

2)计算项集的支持度:计算候选集合中项的个数，即每个变量中值为1的总个数6,7,6,2,2,...,支持度计算方法为候选集合中包含该项集的记录所占的比例,因此可得出每个项集支持度分别为：67％,78％,67％,22％,22％，根据最小支持度为20％，可得出频繁1-项目集l1-{(x1)，(x2)，…，(x5)}；

3)根据l1两两组合生成候选频繁2-项集，并计算每个项集支持度，并根据最小支持度为20％，可得出频繁2-项集l2；按照此规则不断迭代直到l4中没有数据项为止，详细迭代过程如图2所示；

4)通过以上步骤判断出频繁项集，并保留频繁项集{x1，x2，x3}，{x1，x2，x5}；

5)根据频繁项集列表产生关联规则，并计算对应置信度。置信度计算方法为在先决条件x发生的情况下，由关联规则“x→y″推出y的概率。即在含有x的项集中，含有y的可能性，设置最小置信度为70％，筛选后得出强关联规则为{x1，x0}→{x2}、{x2，x0}→{x1}、{x0}→{x1，x2}；

6)根据强关联规则列表找出设备变量之间的内在联系，发现设备更新换代前所出现的公共特征。