基于调控大数据平台的变电设备家族性缺陷趋势分析方法与流程

本发明涉及一种计算机应用技术领域，特别是涉及基于调控大数据平台的变电设备家族性缺陷趋势分析方法。

背景技术

目前电力设备缺陷时有发生，但是针对于设备的家族性缺陷发生规律无有效手段进行综合分析。在当前电网运行环境中，电力设备发生缺陷，尤其是当发生危急和严重缺陷时，会危及人身的安全以及严重影响设备、电网的可靠稳定运行。因此，电力设备在设计、制造、安装、运行、检修等环节的任何一个过程、环节稍有不慎，都会给设备带来缺陷或者隐患。

目前针对设备运行中出现的缺陷与故障，主要靠人为上报确认，当设备发生缺陷或故障时，会伴随发生相关的告警信息，站端人员通过电话沟通的方式，通知主站的监控人员，监控人员将缺陷或故障信息记录到监控日志当中。这种依靠人为判断的方式，过渡依赖于监控人员，不利于电网的安全、稳定运行。

技术实现要素：

针对背景技术中的问题，本发明的目的在于提出基于调控大数据平台的变电设备家族性缺陷趋势分析方法。本发明利用文本分析技术，自动识别缺陷，并实现告警信号与设备自动关联，利用数据挖掘技术，根据设备告警信号历史数据，获得设备家族性缺陷风险指数，并以此作为基础，来推断设备发生某类家族性缺陷的概率。

为实现上述目的，本发明的技术方案如下：

基于调控大数据平台的变电设备家族性缺陷趋势分析方法，所述方法包括以下步骤：

(s10)数据采集，将数据从来源端经过抽取转换、加载至目的端；

(s20)数据预处理；

(s30)计算设备家族性缺陷风险指数。

进一步地，所述步骤(s10)包括两部分：(s10-1)横向跨区和纵向跨级数据采集；(s10-2)非横向跨区和非纵向跨级数据采集；

所述横向跨区采集主要是指电力系统安全ⅰ区、安全ⅱ区和安全ⅲ区系统数据的采集；

所述纵向跨级数据采集主要是指上级调度机构采集下级调度机构系统数据；

所述横向跨区数据的载体以文件的形式穿透物理隔离装置进行采集，以文件的方式为优先方式；

对所述纵向跨区域数据的传输进行加密，所述纵向跨区域数据的载体以文件的方式为优先方式；

所述横向跨区和纵向跨级的各系统之间的文件数据传输采用d5000平台的小邮件进行传输，整个数据的抽取、清洗、转换、存储过程利用etl工具统一完成，具体过程如下：

(s10-1-1)th-etl工具的读组件通过d5000平台的小邮件服务从目标位置获取文件数据；

(s10-1-2)th-etl工具的流向组件按照采集模型的清理模型中预先设定的清理规则对文件数据进行清理；

(s10-1-3)th-etl工具的转换组件按照采集模型的转换模型中预先设定的转换规则对文件数据进行转换；

(s10-1-4)清理转换后的数据由th-etl工具的写组件按照执行模型预先设定的规则进行数据的实体存储；

所述非横向跨区和非纵向跨级数据采集主要对相同安全分区、同级调控机构的系统数据的采集；

对所述非横向跨区和非纵向跨级的数据无需穿透物理隔离装置，数据也无需进行跨级传输加密；

所述非横向跨区和非纵向跨级的各系统之间的文件数据传输采用d5000平台的小邮件进行传输，整个数据的抽取、清洗、转换、存储等采集过程由etl工具统一完成，具体过程如下：

(s10-2-1)采集源系统按照既定的周期将文件数据通过d5000平台的小邮件服务推送至目标位置；

(s10-2-2)th-etl工具的读组件通过d5000平台的小邮件服务从目标位置获取文件数据；

(s10-2-3)th-etl工具的流向组件按照采集模型的清理模型中预先设定的清理规则对文件数据进行清理；

(s10-2-4)th-etl工具的转换组件按照采集模型的转换模型中预先设定的转换规则对文件数据进行转换；

(s10-2-5)清理转换后的数据由th-etl工具的写组件按照执行模型预先设定的规则进行数据的实体存储。

进一步地，所述步骤(s20)包括两部分：(s20-1)非结构化的告警信号识别，将告警信号归类到标准的设备缺陷类别；(s20-2)非结构化的告警信号与设备自动关联；

所述(s20-1)部分包括如下步骤：

(s20-1-1)利用中文分词算法，对非结构化的告警信号进行分词，将非结构化的告警信号转换成关键词集合；

(s20-1-2)计算告警信号对应的关键词集合与标准的设备缺陷之间的皮尔逊相关系数；

(s20-1-3)根据计算获得的相关系数，将该告警信号归类到与其最匹配的标准的设备缺陷类中；

所述(s20-2)部分包括如下步骤：

(s20-2-1)利用实体识别技术的字典法，自动将告警信号中的设备类别及设备编码过滤出来；

(s20-2-2)将告警信号中的厂站id转换成oms中的厂站id；

(s20-2-3)利用oms的设备台账，利用告警信号的oms厂站id以及前面识别出来的设备类别及设备编码作为约束条件，找到与告警信号匹配度最高的设备，并将该告警信号与该设备自动关联。

进一步地，所述步骤(s30)包括如下步骤：

(s30-1)根据告警信号的时序模型，再利用s20处理结果，计算出设备缺陷时序模型；

(s30-2)根据设备缺陷的时序模型，计算某类设备发生某类缺陷的条件概率，将此条件概率作为衡量设备家族性缺陷风险指数的指标；

所述设备家族性缺陷风险指数是指设备发生某类家族性缺陷的条件概率，并将此条件概率作为衡量设备发生家族性缺陷风险的指数。

本发明的有益效果在于：

本发明利用文本分析技术，自动识别缺陷，并实现告警信号与设备自动关联，利用数据挖掘技术，根据设备告警信号历史数据，获得设备家族性缺陷风险指数，并以此作为基础，来推断设备发生某类家族性缺陷的概率。本发明实现了对集中监控设备家族性缺陷可能性的预测。相对于传统的方法准确率较高。

数据采集主要负责对外部系统的统一数据采集，通过大数据技术支撑平台的技术支撑，实现对横向部署在不同安全分区、纵向部署在不同调控机构相关系统数据的提取、清理、转换、实体存储的全过程管理。

附图说明

图1是本发明的基于调控大数据平台的变电设备家族性缺陷趋势分析方法流程图。

具体实施方式

下面结合附图，对本发明的技术方案作进一步的阐述。

图1是本发明的基于调控大数据平台的变电设备家族性缺陷趋势分析方法流程图，如图1所示，所述方法包括以下步骤：

(s10)数据采集，将数据从来源端经过抽取转换、加载至目的端；

(s20)数据预处理；

(s30)计算设备家族性缺陷风险指数。

步骤s10数据采集，将数据从来源端经过抽取转换、加载至目的端的过程。数据采集主要负责对外部系统的统一数据采集，通过大数据技术支撑平台的技术支撑，实现对横向部署在不同安全分区、纵向部署在不同调控机构相关系统数据的提取、清理、转换、实体存储的全过程管理。

所述步骤(s10)包括两部分：(s10-1)横向跨区和纵向跨级数据采集；(s10-2)非横向跨区和非纵向跨级数据采集。

所述横向跨区采集主要是指电力系统安全ⅰ区、安全ⅱ区和安全ⅲ区系统数据的采集。

所述纵向跨级数据采集主要是指上级调度机构采集下级调度机构系统数据。

对于由于横向ⅰ区、ⅱ区与ⅲ区之间存在物理隔离装置，数据的载体必须以文件的形式穿透物理隔离装置进行采集。同时，基于纵向跨区域数据的安全性考虑，必须对传输数据进行加密，因此数据的载体也以文件的方式为优先方式。

横向跨区和纵向跨级的各系统之间的文件数据传输采用d5000平台的小邮件进行传输，整个数据的抽取、清洗、转换、存储等采集过程利用etl(extraction-transformation-loading，中文名称：数据提取转换和加载)工具统一完成。过程详细说明：

(s10-1-1)th-etl工具的读组件通过d5000平台的小邮件服务从目标位置获取文件数据；

(s10-1-2)th-etl工具的流向组件按照采集模型的清理模型中预先设定的清理规则对文件数据进行清理；

(s10-1-3)th-etl工具的转换组件按照采集模型的转换模型中预先设定的转换规则对文件数据进行转换；

(s10-1-4)清理转换后的数据由th-etl工具的写组件按照执行模型预先设定的规则进行数据的实体存储。

所述非横向跨区和非纵向跨级数据采集主要对相同安全分区、同级调控机构的系统数据的采集，数据无需穿透物理隔离装置，数据也无需进行跨级传输加密。非横向跨区和非纵向跨级的各系统之间的文件数据传输采用d5000平台的小邮件进行传输，整个数据的抽取、清洗、转换、存储等采集过程由etl工具统一完成。过程详细说明：

(s10-2-1)采集源系统按照既定的周期将文件数据通过d5000平台的小邮件服务推送至目标位置；

(s10-2-2)th-etl工具的读组件通过d5000平台的小邮件服务从目标位置获取文件数据；

(s10-2-3)th-etl工具的流向组件按照采集模型的清理模型中预先设定的清理规则对文件数据进行清理；

(s10-2-4)th-etl工具的转换组件按照采集模型的转换模型中预先设定的转换规则对文件数据进行转换；

(s10-2-5)清理转换后的数据由th-etl工具的写组件按照执行模型预先设定的规则进行数据的实体存储。

步骤s20数据预处理，主要包括两大部分，(s20-1)非结构化的告警信号识别，将告警信号归类到标准的设备缺陷类别；(s20-1)非结构化的告警信号与设备自动关联。

所述非结构化的告警信号识别是指利用文本分析技术实现非结构化的告警信号自动识别，具体方法为：首先利用中文分词算法，对非结构化的告警信号进行分词，将非结构化的告警信号转换成关键词集合，然后计算告警信号对应的关键词集合与标准的设备缺陷之间的皮尔逊相关系数(pearsoncorrelationcoefficient)，最后根据计算获得的相关系数，将该告警信号归类到与其最匹配的标准的设备缺陷类中。

所述非结构化的告警信号与设备自动关联是指利用文本分析技术中的实体识别技术实现非结构化的告警信号与设备自动关联，具体方法为：首先，利用实体识别技术的字典法，自动将告警信号中的设备类别及设备编码过滤出来；其次，将告警信号中的厂站id转换成oms中的厂站id；最后，利用oms的设备台账，利用告警信号的oms厂站id以及前面识别出来的设备类别及设备编码作为约束条件，找到与告警信号匹配度最高的设备，并将该告警信号与该设备自动关联。

步骤s30计算设备家族性缺陷风险指数，所述指数是指设备发生某类家族性缺陷的条件概率，并将此条件概率作为衡量设备发生家族性缺陷风险的指数。具体的计算方法为：首先根据告警信号的时序模型，再利用s20处理结果，计算出设备缺陷时序模型；再根据设备缺陷的时序模型，计算某类设备发生某类缺陷的条件概率，将此条件概率作为衡量设备家族性缺陷风险指数的指标。

本发明的上述具体实施方式仅仅是为了更好的阐述本发明的构思及方案，而不应视为是对本发明保护范围的限制。本发明的保护范围仍以权利要求为准，包括在此基础上所作出的替换、变形等。