一种变电站智能机器人巡检辅助分析系统及方法与流程

本发明涉及变电站智能巡检技术领域，更具体地说，涉及一种变电站智能机器人巡检辅助分析系统及方法。

背景技术：

日常巡检是保证变电站安全稳定运行最重要的工作手段，随着社会经济的快速发展，电网建设投资力度不断加大，技术技能人员的补充与电网建设发展速度不同步的矛盾已日趋显现。

传统的变电站巡检工作是由变电站现场运行人员每天按制订的时间节点计划要求到所管辖的变电站去做定期的周期性的巡检，记录相关设备运行数据。在电力大发展的背景下，同一运维人员所管辖的变电站较多，对应的一次设备数量巨大，每天都要进行重复性的巡检任务，不仅容易产生厌烦心理，无法保证巡视质量。同时，运维人员的个人技能水平之间存在着差距，运维人员在设备巡检过程中很容易只凭借个人经验来判断，无法保证统一的标准。这些对变电站现场巡检工作带来很大的挑战，也对电网的安全稳定运行造成重大的安全隐患。

随着智能机器人技术应用的发展，变电站巡检机器人进入了实用阶段，机器人可以按照预定任务完成变电站内户外一次设备部分项目的巡视工作。它在变电站内沿预设轨道和预设巡视点按部就班地进行规范的巡视工作，进行油位读取、表计抄录、温度检测及外观检测等工作，机器人在巡视过程中，不断地将自身所采集到的图像数据上传到监控后台，如果发现不正常运行状态，监控后台可以实现报警，提醒运行人员注意，并能生成异常报告。利用智能巡视机器人对变电站的设备进行巡视，避免了人工巡视主观方面可能造成偏差，同步记录所有巡视资料，为故障分析提供可靠依据，同时避免了人员在巡视过程中可能遇到的危险。

但现有的巡检机器人采用的是定点定角度拍摄图像，后台利用传统机器学习的方式辨识故障的方法。传统机器学习故障的辨识需要先验知识设计特征参量，特征参量选择的好坏将直接影响故障辨识的效果，而且拍摄到的图像由于拍摄位置、角度、光照等环境因素影响，导致故障辨识的准确性波动性很大，不能满足实际应用的要求。

技术实现要素：

本发明要解决的技术问题在于，提供一种变电站智能机器人巡检辅助分析系统及方法。

本发明解决其技术问题所采用的技术方案是：构造一种变电站智能机器人巡检辅助分析系统，包括图像拍摄伺服模块、深度学习识别模块、异常状态推理模块，其中，所述图像拍摄伺服模块用于协助智能机器人拍摄的样本图像并为深度学习识别模块输入上述样本图像；所述深度学习识别模块构建三级模式识别体系，所述三级模式识别体系分别对设备、部件、状态进行识别，每级模式识别体系对样本图像进行对象辨识并将识别结果输出至所述图像拍摄伺服模块和异常状态推理模块；所述异常状态推理模块依据深度学习识别模块识别的设备状态信息进行推理引擎并将推理结论展示给用户。

在上述方案中，所述三级模式识别体系包括第一级设备识别层、第二级部件识别层和第三级状态识别层，所述第一级设备识别层用于识别变电站主设备，所述第二级部件识别层用于识别主设备上的部件组成，所述第三级状态识别层用于识别部件是否存在异常。

在上述方案中，所述图像拍摄伺服模块利用深度学习目标检测算法确定智能机器人所拍摄图像中拍摄对象的位置，并通过摄像头调整焦距以及拍摄角度。

在上述方案中，智能机器人拍摄的样本图像对应的拍摄对象包括变电站主设备、主设备上的部件组成、部件细节区域，依次与所述第一级设备识别层、第二级部件识别层和第三级状态识别层对应。

在上述方案中，所述深度学习识别模块采用离线深度学习和在线深度学习两种方式对样本图像的电力设备特征进行对象辨识，离线深度学习方式构建深度学习平台，采用深度卷积神经网络对样本图像中典型电力设备的目标特征进行训练，在线深度学习方式采用增量学习和增强学习技术将样本图像融入深度学习框架，对离线深度学习方式的模型进行优化。

在上述方案中，所述异常状态推理模块包括工作内存、规则库和推理引擎三部分，采用drools规则进行推理引擎，所述工作内存用于存储深度学习识别模块得到的设备状态特征，所述规则库用于存储固化的专家经验，所述推理引擎包括模式匹配器、议程和执行引擎三部分，所述推理引擎用于将用户输入到工作内存中的设备状态特征与规则库中的规则进行匹配并得出结论。

本发明还提供一种变电站智能机器人巡检方法，该巡检方法包括以下步骤：

步骤s010，智能机器人到达指定巡检点，拍摄变电站内主设备的初始图像，并通过站内无线通信方式传送到上述变电站智能机器人巡检辅助分析系统，图像拍摄伺服模块利用深度学习目标检测算法确定智能机器人所拍摄图像中拍摄对象的位置，并通过摄像头调整焦距以及拍摄角度以拍摄到变电站内主设备的全景且主设备位于图像的中间位置，智能机器人调整好拍摄策略后，拍摄首次样本图像，并通过无线传输方式发送至变电站智能机器人巡检辅助分析系统。

步骤s020，拍摄到的首次样本图像送入深度学习识别模块，深度学习识别模块对样本图像进行对象辨识，包括变压器的各个部件及其位置，针对每个部件，深度学习识别模块将对应的拍摄策略发送至图像拍摄伺服模块，指定智能机器人对部件进行二次拍摄。

步骤s030，智能机器人接收到拍摄策略，调整摄像头，针对指定部件进行二次拍摄，并将得到的二次图像通过无线方式存至变电站智能机器人巡检辅助分析系统；

步骤s040，深度学习识别模块对二次图像进行缺陷、故障类型辨识，并将识别得到的设备状态输出至异常状态推理模块。

步骤s050，异常状态推理模块依据深度学习识别模块识别的设备状态信息进行推理引擎并将推理结论展示给用户。

实施本发明一种变电站智能机器人巡检辅助分析系统及方法，具有以下有益效果：

1、本发明利用人工智能、深度学习技术，实现对所采集的图像进行语义挖掘，并利用增量学习、深度增强学习技术，构建具有对象自动跟踪技术的变电站智能机器人巡检辅助分析系统，实现变电站设备故障、缺陷的智能辨识、辅助运维人员日常工作。

2、本发明相较于传统的基于特征的图像识别方法，具有更高的准确性、更强的泛化能力。

3、本发明的主要工作在软件中实现，硬件部分可以与现有智能巡检机器人配合，大幅节约成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是一种变电站智能机器人巡检辅助分析系统的应用拓扑结构图；

图2是一种变电站智能机器人巡检辅助分析系统的总体工作流程图；

图3是本发明中深度学习识别模块的工作流程图；

图4是本发明中异常状态推理模块的工作流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图2所示，本发明提供一种变电站智能机器人巡检辅助分析系统，包括图像拍摄伺服模块、深度学习识别模块、异常状态推理模块。其中，图像拍摄伺服模块通过深度学习网络第一、第二级反馈回来的结论，通过对象自动跟踪单元自动调整拍摄策略，指导对象拍摄单元有针对性的采集图像素材，图像素材依据应用的不同层次分为任意角度图像、设备全景图像和精细部件图像三种；深度学习识别模块主要应用深度学习网络实现对象的识别、定位和状态辨识，深度学习网络分为三级模式识别，分别针对任意视角图像、设备全景图像和精细部件图像，前两级主要针对目标的识别与定位，其结论将指导对象自动跟踪单元，最后一级为状态辨识，识别不同部件的状态；异常状态推理模块将深度学习识别模块得到的各个部件状态融合整理，形成设备状态信息集合，通过规则推理单元，推导设备是否处于异常状态，并将推理结果通过web方式展现给用户。

下面对图像拍摄伺服模块、深度学习识别模块、异常状态推理模块进行详细介绍：

图像拍摄伺服模块利用拍摄对象自动跟踪技术，自动调整拍摄策略，协助智能机器人拍摄的样本图像，并为深度学习识别模块输入上述样本图像。图像拍摄伺服模块利用基于回归方法的端到端的深度学习目标检测算法确定智能机器人所拍摄图像中拍摄对象的位置，通过摄像头控制api，调整图像拍摄策略，包括调整焦距、上下左右控制拍摄角度，以确保拍摄对象的完整性和清晰度。

深度学习识别模块构建三级模式识别体系，三级模式识别体系包括第一级设备识别层、第二级部件识别层和第三级状态识别层，第一级设备识别层用于识别变电站主设备，如变压器、电抗器、断路器、隔离开关等，第二级部件识别层用于识别主设备上的部件组成，如变压器的本体、套管、油枕、散热器等，第三级状态识别层用于识别部件是否存在异常，如变压器套管瓷屏污秽、裂缝、破损等。智能机器人拍摄的样本图像对应的拍摄对象包括变电站主设备、主设备上的部件组成、部件细节区域，依次与第一级设备识别层、第二级部件识别层和第三级状态识别层对应。三级模式识别体系分别对设备、部件、状态进行识别，每级模式识别体系对样本图像进行对象辨识并将识别结果输出至图像拍摄伺服模块和异常状态推理模块。在本实施例中，深度学习识别模块采用离线深度学习和在线深度学习两种方式对样本图像的电力设备特征进行对象辨识，离线深度学习方式构建深度学习平台，采用深度卷积神经网络对样本图像中典型电力设备的目标特征进行训练，在线深度学习方式采用增量学习和增强学习技术将样本图像融入深度学习框架，对离线深度学习方式的模型进行优化。

如图3所示，本实施例的深度学习识别模块的工作模式分为深度学习网络构建环节(离线深度学习)和深度学习网络的应用环节(在线深度学习)，深度学习识别模块的使用分为以下几个步骤，具体包括：

步骤1)，在该模块使用前，要先对深度神经网络进行初始化训练，采用的是离线深度学习的方法，将事先准备好的带标签的图像训练集，利用不限于数据增广、图像预处理、网络初始化、激活函数的选择、不同正则化方法等技巧，完成深度神经网络的初始化训练。

步骤2)，将训练好的深度神经网络模型应用于在线识别中，进行目标的识别、定位和状态辨识，模型的输入来自实际拍摄的图像。

步骤3)，当系统应用一段时间后，深度学习模型需要从人机交互过程中获取新的知识，不断完善识别准确率，因此需要利用在线识别图片组成增量学习样本。同时，由于应用的需要，可能需要识别当前模型不能识别的新的一类设备，这样就需要准备一个已经过标定的新增图像集，共同作为增量学习样本。

步骤4)，利用增量学习样本，通过增量学习算法，完成对深度学习网络的参数优化。

异常状态推理模块依据深度学习识别模块识别的设备状态信息采用drools规则进行推理引擎并将推理结论展示给用户。异常状态推理模块包括工作内存、规则库和推理引擎三部分，工作内存用于存储深度学习识别模块得到的设备状态特征，规则库用于存储固化的专家经验，推理引擎包括模式匹配器、议程和执行引擎三部分，推理引擎用于将用户输入到工作内存中的设备状态特征与规则库中的规则进行匹配并得出结论。

如图4所示，本实施例中的drools规则推理引擎的推理步骤如下：

步骤1)，将设备状态信息集合存入工作内存中，利用模式匹配器与规则库中的产生式规则进行匹配，产生匹配规则。其中，事实是描述对象之间及对象属性之间的关系的一组数据；产生式规则是由条件和结论构成的推理语句，是用一阶逻辑进行知识呈现的二元结构，形如when<conditions>then<actions>。

步骤2)，匹配过程可能导致多个规则被同时激活，推理引擎将这些冲突的规则统一放入冲突集合中。

步骤3)，议程利用冲突决策策略，合理安排激活的规则的顺序，同时将激活的规则放入议程中。

步骤4)，按执行引擎顺次执行议程中的规则，重复步骤2)到步骤4)，直到所有规则都被执行完毕，其后输出类似专家推理后的结论。

本发明还提供一种变电站智能机器人巡检方法，该巡检方法包括以下步骤：

步骤s010，如图1所示，智能机器人在巡检作业中，沿着划定好的巡检通道运行，到达预先设定好的巡检点停下来，将摄像头调整到预设角度，拍摄变电站内主设备的初始图像，并通过站内无线通信方式传送到主控楼中的后台系统(即上述变电站智能机器人巡检辅助分析系统)，图像拍摄伺服模块利用深度学习目标检测算法确定智能机器人所拍摄图像中拍摄对象的位置，并通过摄像头调整焦距以及拍摄角度以拍摄到变电站内主设备的全景且主设备位于图像的中间位置，智能机器人调整好拍摄策略后，拍摄首次样本图像，并通过无线传输方式存至后台系统。

步骤s020，拍摄到的主设备图像送入深度学习识别模块，深度学习识别模块对样本图像进行对象(包括变压器的各个部件及其位置，部件包括本体、套管、油枕和散热器等)辨识。针对每个部件，深度学习识别模块指定相应的拍摄策略发送至图像拍摄伺服模块，指定智能机器人对部件进行二次拍摄。

步骤s030，智能机器人接收到拍摄策略，调整摄像头，针对指定部件进行二次拍摄，并将得到的二次图像通过无线方式存至后台系统；

步骤s040，深度学习识别模块对二次图像进行缺陷、故障类型辨识，并将识别得到的设备状态输出至异常状态推理模块。

步骤s050，异常状态推理模块依据深度学习识别模块识别的设备状态信息进行推理引擎并将推理结论展示给用户。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。