一种无人机巡检光伏板异常目标分析管理系统及方法与流程

本发明属于无人机自动巡检技术领域，特别涉及一种无人机巡检光伏板异常目标分析管理系统及方法。

背景技术：

太阳能作为一种环保再生能源在发电这一块具有很重要的地位。未来几年，我国太阳能装机容量的复合增长率将高达25％以上。对于逐年增长的太阳能光伏发电，光伏板的巡检将是一个难题，因为传统巡检依靠人工进行，效率低、成本高，周期长。

随着无人机视觉系统技术的提高，用无人机进行光伏的巡检已经成为了可能。很多光伏电站开始试点无人机光伏巡线，这些项目虽然对光伏电站的进行很好的故障排除，但是依然存在一些有待解决的问题。

目前，对于无人机巡线获取的航拍影像数据仅仅只通过人工进行判读和分析，存在效率低下、实时性差、人为误判等缺点。如果巡线的图像数据量过大，排除故障的时效性会大大降低，直接造成一定的经济损失。这样也会制约了无人机光伏巡检在光伏电站的推广和应用。

技术实现要素：

本发明的目的在于提供一种无人机巡检光伏板异常目标分析管理系统及方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种无人机巡检光伏板异常目标分析管理系统，包括图像采集单元、分析管理单元和人工确认单元；图像采集单元和人工确认单元均连接到分析管理单元；

分析管理单元包括接收模块、畸变矫正、双光配准模块、光伏板提取模块、异常目标检测模块和统计法识别模块；接收模块、畸变矫正、双光配准模块、光伏板提取模块、异常目标检测模块和统计法识别模块依次连接；

接收模块：用于接收图像采集单元采集到得到的可见光图和红外图；

畸变矫正、双光配准模块：用于对覆盖光伏板区域的图像进行畸变矫正，防止光伏板的扭曲；对红外图和可见光图进行一一配准，为后期的定位做准备；

光伏板提取模块：用于提取图像中的光伏板，摆脱掉背景的干扰；

异常目标的检测模块：用于对提取出来的光伏板区域进行异常目标的检测，对异常目标的检测包括异常小目标的检测和异常大目标的检测；

统计法识别模块：用于对异常目标检测模块检测到的异常目标进行识别，确定异常目标所属的类型；

图像采集单元：用于对光伏电站的光伏板进行图像采集；

人工确认单元：用于判定统计法识别后的异常目标的正确性，然后对异常目标进行修正，最后得到确定的异常目标序列。

进一步的，分析管理单元还包括异常目标的定位模块和数据存储模块；光伏板提取模块连接异常目标的定位模块，异常目标的定位模块连接数据存储模块；

异常目标的定位模块：用于将检测识别后的异常目标定位到某序号大板上的某个小板组件上；

数据存储模块：用于存储异常目标的类别、统计信息、地理坐标、所在的板组位置，以及操作人员对于异常目标的处理状态；异常目标的处理状态包括未确认、已确认、未维修及已维修。

进一步的，一种无人机巡检光伏板异常目标分析管理方法，包括以下步骤：

步骤1：无人机根据预设的航线的对光伏电站进行图像采集；

步骤2：对采集到的可见光图像和红外图像进行畸变矫正和双光配准；

步骤3：在矫正和配准后的可见光和红外图像上进行光伏板块的提取；

步骤4：在提取的每一块大光伏板的红外图上，进行异常目标检测；

步骤5：对检测到的异常目标区域，利用统计法进行异常目标物类别的识别；

步骤6：人工判定经统计法识别后的异常目标是否正确，对异常目标进行纠正，最后得到最终的异常目标序列；

步骤7：对异常目标在可见光图上进行地理坐标、光伏板大组件位置和小组件位置的定位；

步骤8：将异常目标的类别、地理坐标、在光伏板大组件位置和小组件位置归档至数据库，生成报告；并将操作人员对于异常目标的处理状态归档至数据库；

步骤9：操作人员根据实际情况对异常目标的处理状态进行实时更新；

步骤10：定期汇总异常目标的排查情况，生成异常目标巡检反馈报告；

进一步的，步骤1具体包括以下步骤：

步骤1.1：根据光伏电站的光伏板的分布形状、地理位置以及无人机的类别规划无人机的巡检路线；巡检路线要符合光伏板图像的覆盖要求，无人机的类别包括固定翼无人机和旋翼无人机；

步骤1.2：根据天气情况、无人机的类别及规划的航线来设置相机的触发规则，相机的处罚规则包括时间触发和距离触发；

步骤1.3：将无人机的飞行姿态高度信息、飞行地理坐标、相机参数信息以及采集到的图像传送至地面站。

进一步的，在步骤2中对采集到的的图像进行了修正，首先是进行了畸变矫正防止光伏板的扭曲，其次是双光配准，将采集到的可见光图像和红外图像进行配准，能够通过产生一一对应的关系。

进一步的，在步骤3中红外图像中光伏板区域的提取是直接提取用于后期异常目标的检测，而可见光的光伏板提取是利用光伏板的拼接图进行光伏板区域提取，用于后期的光伏板大组件和小组件的编号。

进一步的，步骤5中的统计方法的识别针对不同的类别采用的方式不同；异常目标的类别分为热斑、组件零电流、光伏板碎裂、组串零电流；热斑、光伏板碎裂和组件零电流是通过hog特征结合svm方式进行分类识别，组串零电流是通过区域统计的方法识别。

进一步的，步骤6之前需要对异常目标去重；对得到的异常目标的序列需要去重处理，删除多出现的异常目标，使其只保留一个；通过图像特征匹配的方式，将位移误差在一个光伏小组件区域内的异常目标作为同一个异常目标，对重复的异常目标进行过滤。

进一步的，步骤7之前需要对光伏板大组件和小组件进行排序，同时保存相应的地理位置信息；在步骤7定位时根据地理位置信息给出异常目标在哪个大组件的小组件上。

进一步的，步骤8还包括：将当前时间信息、操作人员信息、无人机的飞手信息、所有巡检序列图像、异常目标统计信息以及异常严重的光伏板组标识信息归档至数据库，生成报告；对异常目标进行调阅包括以下方法：按照时间、分块区域、地理位置、类别和损坏程度中的一种或几种对异常目标进行调阅。

与现有技术相比，本发明有以下技术效果：

本发明提供了一种无人机巡检光伏板异常目标分析管理方法，通过无人机对光伏电站的光伏板区域进行图像采集，并对采集到的红外图和可见光图进行畸变矫正和双光配准。对处理后的图像进行光伏板的提取，可见光的提取的光伏板用于光伏板的编号和其小组件的编号，而对于红外图提取的光伏板用于异常目标的检测。接下来通过检测手段得到异常小目标物和异常大目标物，然后通过统计方法对异常目标的类别进行识别。接着会又人工确认检测到的异常目标是否准确并矫正。对确认的异常目标再进行定位确定其相应的地理位置和板组位置，最后将这些异常目标的类别信息、统计信息、位置信息以及异常目标的处理状态存入数据库，生成报告。操作人员根据数据库提供的信息对异常目标进行排查，并根据异常目标的实际处理情况对数据库进行实时更新，并定期汇总异常目标的排查情况。

本发明实现了将光伏板图像的采集，异常目标的检测和识别，异常目标的故障排查纳入自动化管理中，提升了无人机光伏巡检的效果及异常目标的检测和识别效果。

进一步地，本发明通过图像特征匹配的方式，将位移误差在一个光伏小组件区域内的异常目标作为同一个异常目标，从而对重复的异常目标进行过滤。

进一步地，本发明可以按照时间选择、按照分块区域选择，按照异常目标的地理位置进行选择，按照光伏板类型进行选择，按照异常目标的类别选择、按照光伏板的损坏程度进行选择，对异常目标进行搜索。

本发明提供了一种无人机巡检光伏板异常目标分析管理系统；通过图像采集单元对光伏板进行图像采集；通过接收模块接收图像采集单元采集得到的图像，通过畸变矫正、双光配准模块对接收到的图像进行畸变矫正和双光配准，然后通过光伏板提取模块对矫正后的图像进行光伏板的提取；通过异常目标的检测模块在提取的光伏板上进行异常目标检测；通过统计法识别模块确定异常目标的类型；通过人工确认单元确认检测到的异常目标的正确性，并对异常目标进行矫正，从而得到最终确认的异常目标序列；通过异常目标的定位模块将检测识别后的异常目标定位到某序号大板上的某个小板组件上；通过数据存储模块储存异常目标的类型、统计信息、地理坐标、所在的板组位置等。实现了将光伏图像采集、异常目标的检测和识别、异常目标的故障排查纳入自动化管理系统之中，对异常目标的巡检效果好。

附图说明

图1本发明所提供的无人机巡检光伏板异常目标分析管理方法的流程图；

图2本发明所提供的无人机巡检光伏板异常目标分析管理系统的示意图。

图3为本发明光伏板提取图片；

图4a为大光伏板编号展示，图4b为大光伏板编号展示。

图5为光照补偿对比图；

图6为异常目标的检测图；

图7a图7b图7c为三种异常目标图；

具体实施方式

下面结合附图对本发明做进一步详细描述：

下面结合附图对本发明做进一步详细描述：

参见图1，本发明提供了一种无人机巡检光伏板异常目标分析管理方法，它的主要作用就是排查光伏板上的异常目标确保光伏板的正常运行，包括下列步骤：

步骤1：无人机根据预设的航线的对管线进行图像采集。具体包括以下步骤：

步骤1.1：根据光伏电站的光伏板的分布形状、地理位置以及无人机的类别规划无人机的巡检路线。所述的巡检路线要符合光伏板图像的覆盖要求，无人机的类别包括固定翼无人机和旋翼无人机；

步骤1.2：根据天气情况、无人机的类别及规划的航线来设置相机的触发规则，相机的处罚规则包括时间触发和距离触发。

步骤1.3：将无人机的飞行姿态高度信息、飞行地理坐标、相机参数信息以及采集到的图像传送至地面站。其相机参数信息主要包括焦距以及光圈信息。

步骤2：对采集到的可见光图像和红外图像先进行畸变矫正，防止光伏板出现扭曲的现象。然后在矫正后的图上进行红外图和可见光如的双光配准，是的红外图和可见光图能够一一对应，为后期的定位做准备。

步骤3：在畸变矫正和双光配准的可见光和红外图像上进行光伏板区域的板块提取。

红外图像中光伏板区域的提取是直接提取用于后期异常目标的检测，其提取的图例见图3，我们通过一定的算法手段可以提取出光伏板区域，这样在检测时可以避免背景的干扰。

对于可见光的光伏板提取是在光伏板拼接图进行光伏板的提取，用于光伏板大组件和小组件的编号，其编号见图4。图4中的a)是我们通过相关的算法手段可以提取到大光伏板组件并依次对其进行编号；图4中的b)是对小组件的进行编号，按照矩阵结构进行编号。同时也用于光伏板块缺失等异常目标的识别。

步骤4：在红外图上提取的每一块大光伏板的上，通过统计法的方式进行异常目标检测。

将红外图颜色值域映射到0到255的灰度图的值域，然后通过灰度直方图求出图像的中值，经过统计得到异常区域的灰度值会大于某一阈值和中值之和，而非异常区域恰恰相反。如图6，通过该方法我们将生成一个掩膜图其正常区域为黑色，非正常区域为白色。

步骤5：对检测到的异常目标区域，利用统计法进行异常目标物类别的识别，一般识别类别为热斑、光伏板碎裂、组件零电流、组串零电流及光伏板的缺失。

在红外图的下，所能提取到的异常目标是热斑、光伏板碎裂、组件零电流和组串零电流。通过区域的统计，组串零电流的区域掩膜基本是占据一整块小光伏板组件，所以根据掩膜区域面积占小光伏板组件面积的比例关系就可以对组串零电流进行正确的分类，对于剩余的热斑、光伏板碎裂和组件零电流异常目标通过hog特征结合svm方式进行分类识别。hog特征是方向梯度直方图特征，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。而对于热斑、光伏板碎裂和组件零电流异常目标的的表象和形状能够被梯度或边缘的方向密度分布很好地描述。接下来利用hog方法提取的热斑、光伏板碎裂和组件零电流的特征利用分类器svm进行训练和最后的预测。对异常目标的识别结果见图7，a)为热斑标记红框，b)为组件零电流标记黄框，c)为组件零电流和组串零电流，组串零电流标记为蓝框。

步骤6：人工判定经统计法识别后的异常目标是否正确，对异常目标进行纠正，得到最终的异常目标序列。主要的操作手段是删除误判的目标和修改类别误判的目标。

在人工确定前要进行图像的去重操作。因为图像的序列是按一定的重叠度进行拍摄的，所以一个异常目标会被多次采集，因此对得到处理后的异常目标的序列需要去重处理，即删除多出现的异常目标，使其只保留一个。本发明通过图像特征匹配的方式，将位移误差在一个光伏小组件区域内的异常目标作为同一个异常目标，从而对重复的异常目标进行过滤。

步骤7：对异常目标在可见光图上进行地理坐标、光伏板大组件位置和小组件位置的定位，其编号的方式见图4。

具体的定位流程：先在红外图上得到异常目标的gps信息，由于进行过双光配准，这时可以得到异常目标在哪一幅可见光图上，然后看其定位点在哪一块大板组上，然后根据异常目标的中心点距离哪一块小板组近就将归定为该板组上。最后我们会知道异常目标在大光伏板的几行几列上。

步骤8：将异常目标的类别、地理坐标、在光伏板大组件位置和小组件位置归档至数据库，生成报告。

报告生成除上述基本信息，还包括：将当前时间信息、操作人员信息、无人机的飞手信息、所有巡检序列图像、异常目标统计信息以及光伏板的损毁程度。并将操作人员对于异常目标的处理状态归档至数据库，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

查询策略：异常目标智能分析系统的搜索策略为按照时间选择、按照分块区域选择，按照异常目标的地理位置进行选择，按照光伏板类型进行选择，按照异常目标的类别选择、按照光伏板的损坏程度进行选择。

步骤9：操作人员根据实际情况对异常目标的处理状态进行实时更新。通过操作人员将异常光伏板块排查后登陆数据库，修改异常目标的状态：未确认，已确认，未维修，已维修，并记录处理详细信息

步骤10：定期汇总异常目标的排查情况，以此生成月度年度等异常目标巡检反馈汇总统计报告。

参见图2，本发明提供了一种无人机巡检光伏板异常目标分析管理系统，适用于对光伏板的异常目标的快速故障排查和维护。此系统将无人机的光伏巡检的故障排查和维修状态等工作流程纳入自动化管理系统中，其包括图像采集单元、分析管理单元及人工确认单元。

图像采集单元：用于对光伏电站的光伏板进行图像采集。

分析管理单元包括接收模块、畸变矫正、双光配准模块、光伏板提取模块、异常目标检测模块以及统计法识别模块，异常目标的定位模块，数据存储模块。

接收模块：用于接收图像采集单元采集到得到的可见光图和红外图。

投影矫正、双光配准模块：用于对覆盖光伏板区域的图像进行正摄矫正，然后对红外图和可见光图进行一一配准。

光伏板提取模块：用于提取图像中的光伏板，摆脱掉背景的干扰。

异常目标的检测模块：用于对提取出来的光伏板区域进行异常目标的检测，对异常目标的检测包括异常小目标的检测和异常大目标的检测。

统计法识别模块：用于对异常目标检测模块检测到的异常目标进行识别，从而确定异常目标所属的类型。

异常目标的定位模块：用于将检测识别后的异常目标定位到某序号大板上的某个小板组件上。

数据存储模块：用于存储异常目标的类别、统计信息、地理坐标、所在的板组位置；以及操作人员对于异常目标的处理状态、异常目标的处理状态包括未确认、已确认、未维修及已维修。

对于异常目标的定位模块和数据存储模块都是在人工确认单元之后执行的模块。

人工确认单元：用于判定统计法识别后的异常目标的正确性，然后对异常目标进行修正，最后得到确定的异常目标序列。同时在后期操作人员可根据实际情况对数据存储模块中的异常目标的处理状态进行实时更新。

综上所述，本发明结合了无人机控制，计算机视觉及数据库技术，建立一套调阅，处理，归档，排查和维护光伏板异常目标的完整体系。将无人机光伏巡检的采集、检测、识别、排查和维护的运维工作流程完全纳入到自动化管理系统中。