一种风机叶片缺陷定位方法及系统与流程

1.本发明涉及图像处理领域，具体涉及一种风机叶片缺陷定位方法及系统。


背景技术：

2.风力发电机的叶片运行进入中期后，在反复的疲劳载荷作用下，很多叶片开始出现局部开裂、分层等的问题，部分严重的就会发生断裂。如果我们能够及时发现这些缺陷，在缺陷没有扩展前进行有效修复，就可以避免大多数叶片断裂事故的发生。
3.目前无人机已越来越广泛的用于工业巡检领域，成为给能源行业的企业提供安全、高效的检查和数据收集的有效手段。无人机拍摄风机叶片的照片结合人工智能图像识别算法，就可以提高叶片检查的质量和效率，增加了风场运维的安全性。
4.现有的基于机器视觉对风机叶片缺陷进行图像识别的技术很多，但是很少有对缺陷进行定位。


技术实现要素：

5.本发明所要解决的技术问题是提供一种风机叶片缺陷定位方法及系统，可以定位出风机叶片中的缺陷。
6.本发明解决上述技术问题的技术方案如下：一种风机叶片缺陷定位方法，包括以下步骤，
7.s1，根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
8.s2，基于maskr-cnn的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
9.s3，在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的gps坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
10.s4，基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
11.基于上述一种风机叶片缺陷定位方法，本发明还提供一种风机叶片缺陷定位系统。
12.一种风机叶片缺陷定位系统，用于实现上述所述的风机叶片缺陷定位方法，包括如下模块，
13.模型构建及图片拍摄模块，其用于根据风机叶片的已知参数构建风机叶片数学模
型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
14.缺陷识别模块，其用于基于maskr-cnn的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
15.转换系数计算模块，其用于在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的gps坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
16.缺陷定位模块，其用于基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
17.本发明的有益效果是：在本发明一种风机叶片缺陷定位方法及系统中，通过基于maskr-cnn的深度学习算法，可以准确识别风机叶片上的缺陷及类型，并利用作径向弦长参考线的方法计算出实际长度和像素长度之间的转换系数，且利用转换系数计算出缺陷相对边缘线和叶根的距离比例，从而将缺陷在图片中的位置映射至风机叶片数学模型上实现定风机叶片缺陷的定位，方便后期实现可视化展示和自动化报告的生成，有利于对于风机叶片检查结果进行信息化跟踪管理。
附图说明
18.图1为本发明一种风机叶片缺陷定位方法的流程图；
19.图2为风机叶片数学模型的示意图；
20.图3为风机叶片表面为迎风面或背风面时径向弦长参考线的标定示意图；
21.图4为风机叶片表面为前缘面或后缘面时径向弦长参考线的标定示意图；
22.图5为本发明一种风机叶片缺陷定位系统的结构框图。
具体实施方式
23.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
24.如图1所示，一种风机叶片缺陷定位方法，包括以下步骤，
25.s1，根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
26.s2，基于maskr-cnn的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
27.s3，在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无
人机在拍摄过程中的gps坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
28.s4，基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
29.下面对各步骤进行具体解释说明：
30.在所述s1中：
31.所述风机叶片的已知参数包括叶根节圆直径pitchdim、叶片长度bladelength、叶片最大径向弦长maxchordlen以及叶片最大径向弦长处至叶根距离maxchorddis。所述风机叶片数学模型如图2所示，在所述图2中，点p1的纵坐标值代表叶根节圆直径，点p3的横坐标值代表叶片长度，点p2的纵坐标值代表叶片最大径向弦长，点p4的横坐标值代表叶片最大径向弦长处至叶根距离。
32.无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片的过程中，假设无人机在拍摄任意一帧风机叶片图片时的gps坐标到在叶根处拍摄第一帧风机叶片图片时的gps坐标之间在大地坐标系下的空间距离为x；当x∈(0,maxchorddis]时，叶片径向弦长chord为该叶片径向弦长落在点p1与点p2之间线段上对应点的y值；当x∈(maxchorddis,bladelength]时，叶片径向弦长为该叶片径向弦长落在点p2与点p3之间线段上对应点的y值减去该叶片径向弦长落在点p3与点p4之间线段上对应点的y值。
33.无人机搭载相机进行拍摄获得风机叶片图片的图片信息中包括无人机的gps坐标。
34.在所述s2中：
35.maskr-cnn是一个两阶段的检测器，第一个阶段扫描图片生成有可能包含一个目标的区域，第二阶段分类上述区域并生成边界框和掩码。基于maskr-cnn的深度神经网络模型对叶片上的缺陷进行分类识别。通过大量图片训练不同的缺陷标记，可以准确识别出叶片上不同类别的缺陷。
36.maskr-cnn主要由fpn+resnet组成，增加了roialign模块。整个检测流程是首先输入需要检测和分割的图片。将图片输入cnn特征提取网络得到特征图，对特征图的每一个像素位置设定固定个数的roi，然后将roi区域输入rpn网络进行二分类(前景和背景)以及坐标回归，以获得精炼后的roi区域。对此roi区域直线roialign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定大小的特征对应起来。最后对这些roi区域进行多类别分类，候选框回归和引入fcn生成mask，完成实例分割任务。
37.在所述s3中：
38.在所述缺陷风机叶片图片中标定出径向弦长参考线的具体步骤为，
39.在所述缺陷风机叶片图片中，分别取叶片两条相对边缘线的中点，得到第一方向点和第二方向点，并分别标注出所述第一方向点以及所述第二方向点的图片坐标系坐标；
40.连接所述第一方向点和所述第二方向点所得到的线段即为所述径向弦长参考线。
41.若所述风机叶片的表面是为迎风面(ps)或背风面(ss)，在所述缺陷风机叶片图片中，叶片两条相对边缘线分别为叶片前缘所在边缘线以及叶片后缘所在边缘线。在本实施例中，将叶片前缘所在边缘线的中点定义为第一方向点(也叫前缘方向点)，将叶片后缘所
在边缘线的中点定义为第二方向点(也叫后缘方向点)；在其他实施例中，两者的定义可以对调。在图片坐标系中，左上角为坐标系原点，水平方向为x轴，向右为x轴正方向；垂直方向为y轴，向下为y轴正方向。图3为风机叶片表面为迎风面或背风面时径向弦长参考线的标定示意图，在图3中，点b为第一方向点，点a为第二方向点。第一方向点的图片坐标系坐标为b(x
le
,y
le
)，第二方向点的图片坐标系坐标为a(x
te
,y
te
)。
42.当所述风机叶片的表面为前缘面(le)或后缘面(te)时，在所述缺陷风机叶片图片中，叶片两条相对边缘线分别为所述缺陷风机叶片图片中叶片左边缘线的中点以及叶片右边缘线的中点。图4为风机叶片表面为前缘面或后缘面时径向弦长参考线的标定示意图；其中，点m和点n分别为第一方向点和第二方向点。
43.在所述s3中，计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度的具体方法为，
44.基于两点之间的距离计算公式，根据所述第一方向点以及所述第二方向点的图片坐标系坐标，计算出所述第一方向点与所述第二方向点之间的距离；
45.其中，所述第一方向点与所述第二方向点之间的距离即为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度。
46.以图3为例，所述第一方向点与所述第二方向点之间的距离d
ab
具体为
[0047][0048]
在所述s3中，基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的gps坐标，计算出所述径向弦长参考线在风机叶片中的实际长度的具体步骤为，
[0049]
获取所述无人机在叶根处拍摄第一帧风机叶片图片时的第一gps坐标；获取所述无人机在拍摄所述缺陷风机叶片图片时的第二gps坐标；
[0050]
计算所述第二gps坐标到所述第一gps坐标之间在大地坐标系下的空间距离；
[0051]
根据所述风机叶片数学模型，计算出所述空间距离对应的径向弦长，则所述空间距离对应的径向弦长即为所述缺陷风机叶片图片的径向弦长参考线在风机叶片中的实际长度。
[0052]
在得到所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度以及所述径向弦长参考线在风机叶片中的实际长度后即可计算出实际长度和像素长度之间的转换系数，所述转换系数的表达式为：
[0053][0054]
其中，k为所述转换系数，chord为所述径向弦长参考线在风机叶片中的实际长度，所述转换系数的单位为m/pixel。
[0055]
在所述s4中：
[0056]
如图3所示，当所述风机叶片的表面为迎风面或背风面时：
[0057]
在标定完径向弦长参考线后，可得到第一方向点的图片坐标系坐标b(x
le
,y
le
)、第二方向点的图片坐标系坐标a(x
te
,y
te
)以及线段ab(径向弦长参考线)中点o的图片坐标系坐标o(x
mid
,y
mid
)，则线段ab所在直线l1的斜率a
ab
以及方程为，
[0058][0059]
进一步可以得到线段ab的中垂线l2的斜率a
cd
以及方程为，
[0060][0061]
中垂线l2与所述缺陷风机叶片图片边界有两个交点，将叶根方向的交点c定义为叶根方向点，将叶尖方向的交点d定义为叶尖方向点，并在所述缺陷风机叶片图片中标注出所述叶根方向点的图片坐标系坐标c(x
root
,y
root
)和所述叶尖方向点的图片坐标系坐标d(x
tip
,y
tip
)。
[0062]
经缺陷识别，假设缺陷中心点为点e，且缺陷中心点的图片坐标系坐标为e(x0,y0)，过第一方向点b作中垂线l2的平行线l3，将平行线l3作为叶片前缘的边界线，则平行线l3的直线方程为l3:y＝a
cd
*x+y
le-a
cd
*x
le
。
[0063]
根据点到直线距离公式可求得缺陷中心点e到直线l1的距离dy以及缺陷中心点e到平行线l3的距离dx。
[0064]
将缺陷中心点e和叶根方向点c的横坐标分别代入直线l1的方程，得到side_e＝a
ab
*x
0-y0+y
mid-a
ab
*x
mid
和side_c＝a
ab
*x
root-y
root
+y
mid-a
ab
*x
mid
；
[0065]
若side_e*side_c＜0，则说明缺陷中心点e与叶根方向点c相对于直线l1异侧，则缺陷中心点e至叶根距离的比例为，
[0066][0067]
若side_e*side_c≥0，则说明缺陷中心点e与叶根方向点c相对于直线l1同侧，则缺陷中心点e至叶根距离的比例为，
[0068][0069]
其中，scale
root
为缺陷中心点e至叶根距离的比例，gps_p为所述空间距离，dy为缺陷中心点e到直线l1之间的距离，k为所述转换系数，bladelength为所述叶片长度。
[0070]
缺陷中心点e至第一方向点b所在边缘距离的比例为，
[0071][0072]
其中，scale
front
为所述缺陷中心点e至第一方向点b所在边缘距离的比例，dx为缺陷中心点e到平行线l3之间的距离，d
ab
为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；
[0073]
根据缺陷中心点e至第一方向点b所在边缘距离的比例以及缺陷中心点e至叶根距离的比例，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标，该坐标为二维坐标。
[0074]
如图4所示，当所述风机叶片的表面为前缘面或后缘面时：
[0075]
按照在迎风面或背风面中的方法进行同样的径向弦长参考线，径向弦长参考线的端点分别为图4中叶片左边缘线的中点m和叶片右边缘线的中点n，然后作径向弦长参考线
mn的中垂线，中垂线与图片边界的两个交点，其中叶根方向点为c(x
root
,y
root
)，叶尖方向点为d(x
tip
,y
tip
)。
[0076]
在前缘面或后缘面中，缺陷在缺陷风机叶片图片中的径向位置固定，则只需用轴向位置表示，即缺陷至叶根距离。也就是说，在前缘面中，缺陷至前缘距离比例为0；在后缘面中，缺陷至前缘距离比例为1。
[0077]
在前缘面或后缘面中，缺陷中心点至叶根距离的比例计算方法，与上述迎风面或背风面中，缺陷中心点至叶根距离的比例计算方法相同在此不在赘述。
[0078]
另外，在所述s2中，基于maskr-cnn的深度神经网络对所述风机叶片图片组进行缺陷识别得到缺陷风机叶片图片的过程中，还得到所述缺陷风机叶片图片中缺陷的最小外接矩形以及所述最小外接矩形的长和宽；
[0079]
所述的风机叶片缺陷定位方法还包括以下步骤，
[0080]
s5，根据所述转换系数以及所述最小外接矩形的长和宽计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸。
[0081]
其中，最小外接矩形的长为w，宽为h，面积为area＝w*h；那么，缺陷在所述风机叶片中实际尺寸的长为k*w，宽为k*h，面积为k2*area。
[0082]
基于上述一种风机叶片缺陷定位方法，本发明还提供一种风机叶片缺陷定位系统。
[0083]
如图5所示，一种风机叶片缺陷定位系统，用于实现上述所述的风机叶片缺陷定位方法，包括如下模块，
[0084]
模型构建及图片拍摄模块，其用于根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
[0085]
缺陷识别模块，其用于基于maskr-cnn的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
[0086]
转换系数计算模块，其用于在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的gps坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
[0087]
缺陷定位模块，其用于基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
[0088]
在本发明一种风机叶片缺陷定位系统中，各模块的具体功能参见上述风机叶片缺陷定位方法中的各步骤，在此不再赘述。
[0089]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。