一种基于多旋翼无人机的规模化集中式光伏电站图像数据采集方法与流程

本发明涉及无人机的应用开发与规模化集中式光伏电站的巡检，尤其是涉及一种基于多旋翼无人机的规模化集中式光伏电站图像数据采集方法。

背景技术

无人机行业在全世界范围内迎来了井喷式的发展，近几年中国市场消费级无人机增长率始终保持在50％以上，以大疆为代表的中国无人机企业占据了世界消费级无人机市场的70％以上。工业和信息化部印发的《关于促进和规范民用无人机制造业发展的指导意见》明确，民用无人机产业将持续快速发展，2020年产值达到600亿元，年均增速40％以上；到2025年，民用无人机产值达到1800亿元。无人机行业是蓬勃发展的朝阳产业。

由于可以垂直起降、控制简单，多旋翼无人机得以快速发展和普及，非常适合执行近地侦查、监视、航拍、预警、农业植保等任务；自主避障、自动跟踪目标、自主航迹规划等无人机相关技术的发展，使得无人机由飞行的照相机逐渐发展为飞行的机器人。

在光伏领域，2017年我国光伏新增装机53.06gw，创下历史新高。由于光伏组件寿命约为25年，大型光伏电站需能够在较长的时间周期里稳定、高效地发电，巡检是光伏电站运营的核心内容。

然而，目前对光伏电站的巡检仍以人工巡检为主，这种巡检方式效率极其低下，且由于集中式光伏电站安装环境较为复杂，大部分场景下人工巡检难以满足要求。

技术实现要素：

针对现有的面向大型集中式光伏电站图像数据采集方法的不足，本发明提出了一种基于无人机的规模化集中式光伏电站图像数据采集方法。

本发明所采用的技术方案如下：

步骤(1)，根据光伏电站设计图纸、高清卫星图像或无人机高空图像获取规模化集中式光伏电站的区域边界信息；

步骤(2)，用多边形对步骤(1)中获取的规模化集中式光伏电站区域边界信息进行拟合，生成区域多边形，若光伏组串分布在多个区域，则生成多个区域多边形；以顺时针方向记录区域多边形的顶点坐标；

步骤(3)，对每个区域多边形，选择地理上南端或北端的顶点作为区域多边形的起始点；对每个区域多边形的起始点，若光伏组件分布在起始点的东方，则起始方向为东，若光伏组件分布在起始点的西方，则起始方向为西；若起始点位于区域多边形南方，则巡航方向为北，若起始点位于区域多边形北方，则巡航方向为南；

步骤(4)，如步骤(2)确定的区域多边形不唯一，则确定区域多边形的数据采集顺序，对每个区域多边形依次执行步骤(5)～步骤(10)；

步骤(5)，启动无人机，在ned坐标系中，将无人机的偏航角和可见光相机的偏航角设置为0，设定无人机飞行速率v0，根据步骤(3)确定的起始方向确定无人机的初始飞行速度，当初始方向为东时，初始飞行速度为当初始方向为西时，初始飞行速度为设定dis＝0；其中，vx、vy分别为北、东方向的飞行速度，dis为无人机对每一行光伏组件进行数据采集时的飞行距离，n_turn为无人机在区域边界处的转弯次数且其初始值为0；

步骤(6)，无人机处理器获取可见光视频流，对当前视频帧通过图像处理算法检测光伏组件、获取光伏组串的边界直线，根据光伏组串边界直线的斜率和位置并结合飞行高度，计算光伏组串排列方向以及光伏组串相对于视频流中心点的纵向像素偏移量；

步骤(7)，根据步骤(6)获得的光伏组串排列方向以及偏移量计算得到云台偏航角的调整量以及速度指令值；

步骤(8)，以固定且不低于5hz的频率重复执行步骤(6)、步骤(7)，直至无人机到达区域边界；在执行步骤(6)、步骤(7)的过程中，如满足abs(dis-n*dis_photo)≤0.1，无人机可见光相机以及红外相机采集图像数据；其中，n为自然数，dis_photo为图像数据采集的距离间隔，abs为求绝对值运算；

步骤(9)，当无人机到达区域边界时，执行转向策略，dis＝0，n_turn＝n_turn+1；

步骤(10)，无人机对当前行的光伏组件继续执行图像采集任务，根据步骤(5)确定的初始飞行速度，执行步骤(6)～步骤(9)直至无人机完成对区域多边形的遍历。

进一步地，所述步骤(2)中生成区域多边形时遵循以下条件：

r010：如光伏组件的两个分布区域是连通的，则视为一个区域；

r020：在r010的基础上，依据面积最小原则生成每个分布区域的拟合多边形；

r030：如果拟合多边形是凹多边形，求此凹多边形的外接凸多边形，根据连通性将外接凸多边形与凹多边形差值部分分成若干非连通区域；对于差值部分的任意区域，如该区域东西两侧均与凹多边形相交，则此凹多边形不能作为区域多边形，否则凹多边形作为区域多边形；

r040：所有的凸多边形都可以作为区域多边形；

r050：如凹多边形不能作为区域多边形，需要对凹多边形进行分解，直至分解后的所有多边形都能作为区域多边形，分解的原则是分解后所有区域多边形南北方向跨度和最小。

进一步地，所述步骤(6)中计算光伏组串排列方向以及光伏组串相对于视频流中心点的纵向像素偏移量具体包括如下步骤：

s010：无人机处理器获取可见光视频帧，通过色彩空间转换将可见光视频帧转换到hsv空间，根据光伏组件表面的颜色特征设定hsv空间各通道阈值，将hsv图像转换为二值图像；

s020：对二值图像进行形态学闭操作，使相近光伏组件的二值图像连通，得到扩展后的光伏组串二值图像；

s030：通过霍夫变换提取扩展后光伏组串边缘的直线信息，得到光伏组串边缘线段，去除斜率绝对值大于0.8或长度小于最长线段一半的线段，计算剩余线段平均斜率k_ave以及扩展后光伏组串上下边界中心线相对于视频流中心点的纵向像素偏移量pix_err；

s040：在ned坐标系中，根据无人机机体偏航角θ1、云台偏航角θ2以及光伏组件在无人机视频帧中的倾角θ3确定光伏组串排列方向，即平行于与东西方向夹角为θ＝θ1+θ2+θ3的直线；其中，θ3＝arctan(k_ave)。

进一步地，所述步骤(7)中云台偏航角调整量以及速度指令值的计算方法为：

r110：根据步骤s040的计算结果，无人机云台偏航角的调整量为δθ2＝θ3；

r120：根据步骤s030的计算结果，扩展后光伏组串上下边界中心线相对于图像中心点所在位置的实际偏移量近似为d_err＝pix_err/pix_height*h*tan(0.5*fov)；其中h为无人机可见光相机与光伏组件的高度差，pix_height为视频帧像素行数，fov为垂直视场角；

r130：根据步骤r120中的计算结果，当无人机从西向东飞行时，速度指令为当无人机从东向西飞行时，速度指令为其中，可防止出现过大的|d_err|，a、b为正常数。

进一步地，所述步骤(8)中无人机到达区域边界的判定条件为：无人机位置到达区域多边形外，且根据步骤s010得到的二值图像满足其中，n＝pix_width*pix_height为图像像素数，为步骤s010处理得到的属于光伏组件的像素数量，xi为二值图像像素值，colorthreshold为判断视野中是否存在光伏组件的阈值。

进一步地，所述步骤(8)中可见光图像和红外图像采集的距离间隔dis_photo不同，即根据可见光相机和红外相机参数、可见光图像和红外图像成像特点，针对两者设定不同的距离间隔。

进一步地，所述步骤(9)中的转向策略的主要过程为：

s110：无人机在巡航方向上飞行s1的距离，s1约为光伏组串纵向距离间隔；

s120：如此时无人机视频帧不满足步骤(8)中的区域边界判定条件，无人机飞行方向与前一行光伏组串图像数据采集时的飞行方向相同，直至无人机满足步骤(8)中的区域边界判定条件，此时的位置作为新一行光伏组串图像数据采集的起始点；如此时无人机视频帧满足步骤(8)中的区域边界判定条件，无人机飞行方向与前一行光伏组串图像数据采集时的飞行方向相反，直至无人机刚好不满足步骤(8)中的区域边界判定条件，此时的位置作为新一行光伏组串图像数据采集的起始点；

s130：在确定新一行光伏组串图像数据采集的起始点后，无人机飞行方向设定为与前一行光伏组串图像数据采集时的飞行方向相反，转向过程结束。

进一步地，本发明所基于的多旋翼无人机上安装有避障模块以及垂直测距模块，垂直测距模块通过控制无人机的升降确保无人机与正下方的光伏组件保持稳定的高度差。

进一步地，本发明所基于的多旋翼无人机搭载的可见光相机以及红外相机垂直向下且具有三轴自稳功能。

本发明的有益效果如下：利用无人机搭载可见光相机以及红外相机采集图像数据，可大幅提高规模化集中式光伏电站的图像数据采集效率，这些图像数据是故障分析与诊断、健康度评估的重要基础。相比于传统的人工采集方法，本方法能够具有非常高的自动化水平，可大幅提高规模化集中式光伏电站的图像数据采集效率；相比于其他基于无人机的数据采集方法，本方法实施简单、高效，不依赖于光伏组件的位置信息，仅需获取光伏电站的区域信息，具有极强的环境适应性。

附图说明

图1为本发明所述的基于多旋翼无人机的规模化集中式光伏电站图像数据采集策略流程图；

图2为根据光伏组件边界信息生成拟合多边形示意图；

图3.1为无需分解的凹拟合多边形示意图；

图3.2为需要分解的凹拟合多边形示意图；

图4为区域多边形起始点、起始方向和巡航方向示意图；

图5.1为一幅视频帧实例图；

图5.2为hsv阈值分割结果；

图5.3为计算原理图；

图5.4为光伏组串边界直线平均斜率与偏移量的计算结果；

图6为ned坐标系中无人机偏航角、云台偏航角、光伏组串旋转角度关系示意图；

图7为ned坐标系中速度指令计算示意图；

图8.1为无人机开始转弯后初始位置在区域外的飞行过程示意图；

图8.2为无人机开始转弯后初始位置在区域内的飞行过程示意图。

具体实施方式

下面结合附图对本发明做进一步详述，其目的是对本发明的技术方案进行清晰、完整的描述，下面的实施例是一部分实施例而不是全部实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得其他所有实施例，都属于本发明保护的范围。

本发明中多次使用“东”“西”等方向词汇，主要是基于以下考虑：由于光伏发电的特点，所有的光伏组件都近似朝向地理上的“南”，横向的光伏组串排列则为近似的东西方向，尽管实际情况下光伏组件朝向以及排列方向与地理上的方向存在偏差，但使用这些信息为无人机指定起始点以及近似的飞行方向仍是可行的；在理解光伏组件分布特点的基础上，减小偏差从而使无人机实现对光伏组串的精准循迹由视觉伺服过程实现。

图1所示是本发明所述的基于多旋翼无人机的规模化集中式光伏电站图像数据采集方法流程图，展示了规模化集中式光伏电站图像数据采集的主要过程，其详细而具体的流程可表述如下：

步骤(1)，根据光伏电站设计图纸、高清卫星图像或无人机高空图像获取规模化集中式光伏电站的区域边界信息；

步骤(2)，用多边形对步骤(1)中获取的规模化集中式光伏电站区域边界信息进行拟合，生成区域多边形，如光伏组串分布在多个区域且区域之间相隔较远，则生成多个区域多边形；以顺时针方向记录区域多边形的顶点坐标。作为示例，图2展示了光伏组串分布存在明显的区域性时生成多个区域多边形的示意图；

进一步地，步骤(2)生成区域多边形时遵循以下条件：

r010：如光伏组件的两个分布区域是连通的，则视为一个区域；

r020：在条件r010的基础上，依据面积最小原则生成每个分布区域的拟合多边形，拟合多边形既可以是凸多边形、也可以是凹多边形；

r030：如果拟合多边形是凹多边形，求此凹多边形的外接凸多边形，根据连通性将外接凸多边形与凹多边形差值部分分成若干非连通区域；对于差值部分的任意区域，如该区域东西两侧均与凹多边形相交，则此凹多边形不能作为区域多边形，否则凹多边形作为区域多边形；

r040：所有的凸多边形都可以作为区域多边形；

r050：如凹多边形不能作为区域多边形，需要对凹多边形进行分解，直至分解后的所有多边形都可以作为区域多边形，分解的原则是分解后所有区域多边形南北方向跨度和最小(图3.1直观地展示了可作为区域多边形的凹多边形和不可作为区域多边形的凹多边形，并对不可作为区域多边形的凹多边形进行了分解，图3.2中“差值区域2”的存在使凹拟合多边形需要进行分解)；

步骤(3)，对每个区域多边形，选择地理上南端或北端的顶点作为区域多边形的起始点；对每个区域多边形的起始点，如光伏组件分布在起始点的东方，则起始方向为东，如光伏组件分布在起始点的西方，则起始方向为西；对每个区域多边形的起始点，如起始点位于区域多边形南方，则巡航方向为北，如起始点位于区域多边形北方，则巡航方向为南；图4展示了区域多边形起始点的选择、起始方向和巡航方向的确定，此处的“南端”“北端”指的是区域多边形南侧、北侧边界的顶点，图中为起始点1的坐标、起始方向、巡航方向构成的向量，s2(x2,y2)为起始点2的位置坐标，为起始点3的起始方向，为起始点4的巡航方向

步骤(4)，如步骤(2)确定的区域多边形不唯一，则确定区域多边形的数据采集顺序，对每个区域多边形依次执行步骤(5)～步骤(10)；

步骤(5)，启动无人机，在ned坐标系(导航坐标系)中，将无人机的偏航角和可见光相机的偏航角设置为0，设定无人机飞行速率v0，根据步骤(3)确定的起始方向确定无人机的初始飞行速度，当初始方向为东时，初始飞行速度为当初始方向为西时，初始飞行速度为设定dis＝0；其中，vx、vy分别为北、东方向的飞行速度，dis为无人机对每一行光伏组件进行数据采集时的飞行距离，n_turn为无人机在区域边界处的转弯次数且其初始值为0；

步骤(6)，无人机处理器获取可见光视频流，对当前视频帧通过图像处理算法检测光伏组件、获取光伏组串的边界直线，根据光伏组串边界直线的斜率和位置并结合飞行高度，计算光伏组串排列方向以及光伏组串相对于视频流中心点的纵向像素偏移量；

进一步地，步骤(6)中计算光伏组串排列方向以及光伏组串相对于视频流中心点的纵向像素偏移量具体包括如下步骤：

s010：无人机处理器获取可见光视频帧，通过色彩空间转换将可见光视频帧转换到hsv空间，根据光伏组件表面的颜色特征设定hsv空间各通道阈值(比如对光伏组件表面的蓝黑色调较为敏感、对光照不敏感)，将hsv图像转换为二值图像；

s020：对二值图像进行形态学闭操作，使相近光伏组件的二值图像连通，得到扩展后的光伏组串二值图像；

s030：通过霍夫变换提取扩展后光伏组串边缘的直线信息，得到光伏组串边缘线段，去除斜率绝对值大于0.8或长度小于最长线段一半的线段，计算剩余线段平均斜率k_ave以及扩展后光伏组串上下边界中心线相对于视频流中心点的纵向像素偏移量pix_err；

s040：在ned坐标系(导航坐标系)中，根据无人机机体偏航角θ1、云台偏航角θ2以及光伏组件在无人机视频帧中的倾角θ3确定光伏组串排列方向，即平行于与东西方向夹角为θ＝θ1+θ2+θ3的直线；其中，θ3＝arctan(k_ave)；

图5.1‐图5.4以一副光伏组件的无人机航拍图为示例，演示了计算光伏组串在视频帧中旋转角度和偏移量的过程；图6给出了ned坐标系中无人机偏航角、云台偏航角、光伏组串旋转角度关系示意图；

步骤(7)，根据步骤(6)获得的光伏组串排列方向以及偏移量计算得到云台偏航角的调整量以及速度指令值，目的是使得光伏组串位于视频流中心、光伏组串在视频流中的横向旋转角度为零；

进一步地，步骤(7)中云台偏航角调整量以及速度指令值的计算方法为：

r110：根据s040的计算结果，无人机云台偏航角的调整量为δθ2＝θ3；

r120：根据s030的计算结果，扩展后光伏组串上下边界中心线相对于图像中心点所在位置的实际偏移量近似为d_err＝pix_err/pix_height*h*tan(0.5*fov)；其中h为无人机可见光相机与光伏组件的高度差，pix_height为视频帧像素行数，fov为垂直视场角；

r130：根据r120中的计算结果，当无人机从西向东飞行时，速度指令为当无人机从东向西飞行时，速度指令为其中，可防止出现过大的|d_err|，a、b为正常数；图7展示了ned坐标系中速度指令计算示意图；

步骤(8)，以固定且不低于5hz的频率重复执行步骤(6)、步骤(7)，直至无人机到达区域边界；在执行步骤(6)、步骤(7)的过程中，如满足abs(dis-n*dis_photo)≤0.1(n为自然数)，无人机可见光相机以及红外相机采集图像数据；其中，dis_photo为图像数据采集的距离间隔；abs为求绝对值运算；

进一步地，步骤(8)中无人机到达区域边界的判定条件为：无人机位置到达区域多边形外，且根据s010得到的二值图像满足其中，n＝pix_width*pix_height为图像像素数，为s010处理得到的属于光伏组件的像素数量，xi为二值图像像素值，colorthreshold为判断视野中是否存在光伏组件的阈值；

进一步地，步骤(8)中可见光图像和红外图像采集的距离间隔dis_photo可以不同，即可以根据可见光相机和红外相机参数、可见光图像和红外图像成像特点，针对两者设定不同的距离间隔；

步骤(9)，当无人机到达区域边界时，执行转向策略，dis＝0，n_turn＝n_turn+1

进一步地，步骤(9)中转向策略的主要过程为：

s110：无人机在巡航方向上飞行s1的距离，s1约为光伏组串纵向距离间隔

s120：如此时无人机视频帧不满足步骤(8)中的区域边界判定条件，无人机飞行方向与前一行光伏组串图像数据采集时的飞行方向相同，直至无人机满足步骤(8)中的区域边界判定条件，此时的位置作为新一行光伏组串图像数据采集的起始点；如此时无人机视频帧满足步骤(8)中的区域边界判定条件，无人机飞行方向与前一行光伏组串图像数据采集时的飞行方向相反，直至无人机刚好不满足步骤(8)中的区域边界判定条件，此时的位置作为新一行光伏组串图像数据采集的起始点；

s130：在确定新一行光伏组串图像数据采集的起始点后，无人机飞行方向设定为与前一行光伏组串图像数据采集时的飞行方向相反，转向过程结束；图8刻画了s110～s130确定的无人机在区域多边形边界处的转向策略；

步骤(10)，无人机对当前行的光伏组件继续执行图像采集任务，具体而言即根据步骤(5)中的方法确定初始飞行速度，执行步骤(6)～步骤(9)直至无人机完成对区域多边形的遍历；

需要进一步指出的是，本方法所述多旋翼无人机平台安装有避障模块以及垂直测距模块，垂直测距模块可通过控制无人机的升降确保无人机与正下方的光伏组件保持稳定的高度差；本方法所述多旋翼无人机平台搭载的可见光相机以及红外相机垂直向下且具有三轴自稳功能。