一种基于无人机的海上风机塔柱状态巡检方法和装置与流程

本发明属于无人机视频监测技术领域，涉及到海上风机运行状态监测问题，特别涉及到风机塔柱倾斜度的光学测量方法。

背景技术：

我国海洋风能资源丰富，是我国重点发展的新能源之一。然而，对于海上风电场，风速普遍高于内陆风电场，并且极端风况出现概率较大，另外海上的高湿度、盐雾、生物附着等因素均促使风机部件加速老化[1]，而出现的脱锚、疲劳断裂等现象会引起严重的风机事故，因此对海上风机的巡检工作显得尤为重要。然而，海上的变化因素很多，海上作业的难度较大、风险较高，所以很多研究者在巡检技术方面进行了深入的研究，如采用无线传感网络技术构建海上风电机组状态监测系统[2]以及采用无人机技术进行自动化巡检[3]，其中主要包括无人机风机叶片的检测[4,5]和风机塔筒倾斜的检测。相对于叶片纹理图像的形变测量，风机塔筒的倾斜分析更具有空间三维性，需要多视角图像的融合分析。在对塔筒倾斜计算方面，文献[6]提出了基于无人机的电力杆塔图像分析方法，而文献[7]利用激光雷达对输电线杆塔获取点云信息，并通过点云处理得到杆的倾斜信息。然而，海上风机由于特有的环境特点使得风机塔筒的巡检需要面对许多独立作业的要求以及瞬态分析的能力。因此，一种无人化的海上风机巡检技术是具有非常重要的意义和应用价值的。

本发明将无人机技术与图像测量技术相融合后，将以一种更加直观的方式对海上风机的运行状态进行巡检，这种方式不仅大大地降低了人力成本和监测风险，还大大提高了对海洋风电场管理的效率。

参考文献：

[1]梁艳辉.海上风电状态监测与故障诊断技术.科技创新与应用,2013,30:52-53.

[2]傅质馨,赵敏,袁越,等.基于无线传感网络的海上风电机组状态监测系统构建方法.电力系统自动化,2014,38(7):23-28.

[3]赵国成,熊文韬,张凯.无人机自动巡检方法和装置:中国,201611264881.3,2016-12-30.

[4]翟永杰,赵海龙,王迪,等.自主无人机巡检风机叶片系统：中国,201620352589.6,2016-04-25.

[5]王寅生,朱志成,迟岩,等.风机叶片无人机智能巡检系统：中国,201620757528.8,2016-07-18.

[6]王榆夫,韩军,赵庆喜,等.基于无人机图像的电力杆塔倾斜检测.计算机仿真.2017,34(7):426-431.

[7]彭炽刚,李雄刚,蒙华伟,等.杆塔倾斜程度检测方法以及装置：中国,201710666288.x,2017-08-07.

技术实现要素：

针对海上风机的状态监测问题，本发明将多焦距视觉技术与图像测量技术相结合，提出了一种基于无人机的海上风机运行状态巡检方法及装置。

本发明的技术方案：

一种基于无人机的海上风机塔柱状态巡检装置，监测对象为海上风机1，采用的海上风机塔柱状态巡检装置包括装有姿态传感模块imu的无人机、立体视觉系统和无线传输天线；

所述的立体视觉系统，包括台工业级摄像机和一块图像采集、处理板；第一摄像机和第三摄像机同型号且均装有相同焦距的远焦镜头，第二摄像机分辨率不低于第一摄像机且装有标准焦距的大景深镜头；

海上风机塔柱状态巡检装置采用无人机挂载多焦距的立体视觉系统的方式：三台摄像机同向且布置在一条线上，光轴彼此平行，第二摄像机在第一摄像机和第二摄像机的中间位置；立体视觉系统与图像采集、处理板相连，并在图像采集、处理板的控制下，三台摄像机同步工作；图像采集、处理板与无线传输天线相连接，便于数据的远距离传输。

具体步骤如下：

步骤a：将第一摄像机、第二摄像机和第二摄像机依次保持光轴平行并排放置，间距保持一致，间距大小根据测量距离进行设置；第二摄像机放置在第一摄像机与第三摄像机的中间位置；三台摄像机与图像采集、处理板的接口相连，形成立体视觉系统；图像采集、处理板与无线传输天线相连接，便于数据的远距离传输；立体视觉系统挂接在无人机下方，形成海上风机观测系统；

步骤b：在无人机水平放置时时，使用张正友平面网格标定法对第一摄像机和第三摄像机组成的双目视觉系统进行系统定标，并使得定标完成后的测量坐标系的三个轴向与姿态传感模块imu的坐标方向保持一致，并将定标参数存入图像采集、处理板中；

步骤c：无人机布置完毕后，根据海上风机的位置生成无人机飞行轨迹的gps点位；

步骤d：对第二摄像机采集的图像进行海上风机的识别；

步骤e：调整无人机的姿态使得海上风机扇叶的中心处于第二摄像机图像的中心位置；

步骤f：调整无人机到目标海上风机的距离，以第二摄像机上风机图像为模板，使用特征匹配sift算法在第一摄像机和第三摄像机进行风机图像的同名点查找；

步骤g：根据第一摄像机和第三摄像机图像上的同名点进行视差的计算，当该视差大于指定阈值tg后，无人机进行悬停测量；

步骤e：对第一摄像机和第三摄像机采集的图像进行二值化处理，并在各自的图像中对海上风机塔柱进行hough直线检测，同时提取海上风机塔柱的中心线；

步骤f：在第一摄像机的塔柱中心线上选择两个位置，并按照从下到上的顺序依次记为p1^l和与此同时，按照立体视觉极线约束在第三摄像机的塔柱中心线上搜索与之对应的p1^r和

步骤g：根据步骤b中双目视觉系统的定标参数对同名点对和进行三维重构，得到空间点p1和p2的坐标；

步骤h：获取此时无人机姿态传感器信息，并根据角度参数计算旋转矩阵r和其转置r^t；

步骤i：计算空间点p1和p2的之间的位移矢量同时计算塔柱倾角

步骤j：对海上风机1的倾角α进行判断，当倾角在设定约束ta范围内，即|α|≤ta时符合要求，否则产生异常信息通过无线传输天线传输到控制台。

以上步骤d-j中，计算均在图像采集处理卡中完成，处理后的数据通过天线传输到远端的控制台。

本发明的有益效果：海上风机塔柱状态巡检时充分考虑海上观测作业的高风险低效率的问题，以无人机为载体，结合视觉图像测量技术对风机塔柱的倾斜进行非接触测量和异常报警。本发明将双目视觉定位与测量方法和单目视觉深度网络识别相结合，灵活地构建了适用于海上风机巡检的双焦距三目视觉系统，大幅度提高了无人机风机巡检的可靠性，降低了海上观测，尤其是深远海观测的风险，极大地促进了图像测量技术在海洋风场巡检中的应用推广。

附图说明

图1是基于无人机的海上风机塔柱状态巡检装置示意图。

图中：1海上风机；2无人机；3立体视觉系统；4远焦镜头；5大景深镜头；6第一摄像机；7第二摄像机；8第三摄像机；9图像采集、处理板；10无线传输天线。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种基于无人机的海上风机塔柱状态巡检装置，监测对象为海上风机1，采用的海上风机塔柱状态巡检装置包括装有姿态传感模块imu的无人机2、立体视觉系统3和无线传输天线10；

所述的立体视觉系统3，包括3台工业级摄像机和一块图像采集、处理板9；第一摄像机6和第三摄像机8同型号且均装有相同焦距的远焦镜头4，第二摄像机7分辨率不低于第一摄像机6且装有标准焦距的大景深镜头5；

海上风机塔柱状态巡检装置采用无人机2挂载多焦距的立体视觉系统3的方式：三台摄像机同向且布置在一条线上，光轴彼此平行，第二摄像机7在第一摄像机6和第三摄像机8的中间位置；立体视觉系统3与图像采集、处理板9相连，并在图像采集、处理板9的控制下，三台摄像机同步工作；图像采集、处理板9与无线传输天线10相连接，便于数据的远距离传输。

具体步骤如下：

步骤a：将第一摄像机6、第二摄像机7和第三摄像机8依次保持光轴平行并排放置，间距保持一致，间距大小根据测量距离进行设置；第二摄像机7放置在第一摄像机6与第三摄像机8的中间位置；三台摄像机与图像采集、处理板9的接口相连，形成立体视觉系统3；图像采集、处理板9与无线传输天线10相连接，便于数据的远距离传输；立体视觉系统3挂接在无人机2下方，形成海上风机观测系统；

所述的无人机2上装有姿态传感模块imu，姿态传感模块imu的x-y坐标平面与水平面平行，立体视觉系统3挂载时三台摄像机的光轴平面与无人机2的姿态传感模块imu的x-y平面平行或一致，且光轴方向与姿态传感模块imu的y轴向一致；

步骤b：在无人机2水平放置时(三个姿态角为0)时，使用张正友平面网格标定法对第一摄像机6和第三摄像机8组成的双目视觉系统进行系统定标，并使得定标完成后的测量坐标系的三个轴向与姿态传感模块imu的坐标方向保持一致，并将定标参数存入图像采集、处理板9中；

步骤c：无人机2布置完毕后，根据海上风机1的位置生成无人机2飞行轨迹的gps点位；

步骤d：使用yolo深度网络(或其他的目标识别方法)对第二摄像机7采集的图像进行海上风机1的识别；

步骤e：调整无人机2的姿态使得海上风机1扇叶的中心处于第二摄像机7图像的中心位置；

步骤f：调整无人机2到目标海上风机1的距离，以第二摄像机7上风机图像为模板，使用特征匹配sift算法在第一摄像机6和第三摄像机8进行风机图像的同名点查找；

步骤g：根据第一摄像机6和第三摄像机8图像上的同名点进行视差的计算，当该视差大于指定阈值tg后，无人机2进行悬停测量；

步骤e：对第一摄像机6和第三摄像机8采集的图像进行二值化处理，并在各自的图像中对海上风机1塔柱进行hough直线检测，同时提取海上风机1塔柱的中心线；

步骤f：在第一摄像机6的塔柱中心线上选择两个位置，并按照从下到上的顺序依次记为p1^l和与此同时，按照立体视觉极线约束在第三摄像机8的塔柱中心线上搜索与之对应的p1^r和

步骤g：根据步骤b中双目视觉系统的定标参数对同名点对和进行三维重构，得到空间点p1和p2的坐标；

步骤h：获取此时无人机2姿态传感器信息，并根据角度参数计算旋转矩阵r和其转置r^t；

步骤i：计算空间点p1和p2的之间的位移矢量同时计算塔柱倾角

步骤j：对海上风机1的倾角α进行判断，当倾角在设定约束ta范围内，即|α|≤ta时符合要求，否则产生异常信息通过无线传输天线10传输到控制台。

以上步骤d-j中，计算均在图像采集、处理板9中完成，处理后的数据通过无线传输天线10传输到远端的控制台。