风力发电机的停机姿态参数测量方法及装置与流程

1.本发明实施例涉及图像目标识别、分割与物体位姿测量领域，尤其涉及一种风力发电机的停机姿态参数的测量方法及装置。


背景技术：

2.风力发电机是新能源行业的重要基础设施，其功能在于能够将风能转换为机械功，机械功带动转子旋转，最终输出交流电。风力发电机上安装有数十米长的叶片，通过叶片的转动来带动风力发电机内部的电机转动，最终将风能转换为电能，因此叶片的正常运转对于风力发电机的平稳电能输出至关重要。近年来，风机行业取得了长足发展，与之相伴的便是风机运维业务的快速增长。
3.传统的风机运维业务通常是利用望远镜或者人工攀爬风机以进行检修，相比于这两种传统方式，新兴的无人机自动化巡检因其方便，快捷，灵活的特点而获得了行业青睐，利用无人机巡检风机叶片时，不仅能够节约大量巡检时间，获得更加清晰的叶片图像，还能够提高巡检的精确度。而无人机自动化巡检的一个关键步骤在于风机停机时姿态参数的获取，主要有风机塔柱高度，偏航角，叶片倾角和无人机与风机之间的距离等关键参数。
4.潘佳捷在《风机叶片的无人机自主巡检系统》一文中通过选取风机中的几个关键点，如三个叶片的端点和风机轮毂中心，将这几个关键点当成孤立的空间点再通过视觉测量方法来获取其关键位置，进而估算出风机停机姿态。
5.周华等在《风机停机状态参数的获取方法、系统、设备和介质》中提出使用通过激光雷达设备自上而下地扫描风机来获取其空间点云分布，并进而测算其风机停机姿态参数。
6.guo haowen等在《detecting and positioning of windturbine blade tips for uav-based automatic inspection》一文中通过mask-rcnn和fast角点检测算法来定位风机在拍摄图像上的关键点坐标。随后在风机上以轮毂中心为原点建立空间坐标系，进而通过 pnp方法求解出这些关键点的空间位置坐标和无人机相机坐标系与叶片空间坐标系之间的位姿变换关系。
7.由此可知，现有的技术方案中，采用激光雷达设备来获取精准的点云数据的方法所需的设备造价昂贵，造成了检测成本的上涨，不满足一般条件下的使用要求；通过角点检测定位风机的关键点从而进一步计算这些关键点的空间位置坐标方法，在关键点定位步骤上的误差易造成最终位姿计算结果的较大程度上的偏差。因此，如何低成本、高效精准的获取风力发电机的停机姿态参数成为亟待解决的问题。


技术实现要素：

8.鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种风力发电机的停机姿态参数测量方法及装置。
9.第一方面，本发明实施例提供一种风力发电机的停机姿态参数测量方法，包括：
10.获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比；
11.基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数；
12.基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数。
13.在一个可能的实施方式中，所述方法还包括：
14.将所述横纵比中的最小值作为矩形框度量值；
15.在无人机环绕所述目标风力发电机的塔柱圆周飞行一周时，确定矩形框度量值最小的两个相对目标位置信息；
16.基于所述两个相对目标位置信息和塔柱的第一位置信息，确定风轮平面的方向向量；
17.基于所述方向向量确定所述方向向量与东北天坐标系中y轴之间形成的偏航角参数。
18.在一个可能的实施方式中，所述方法还包括：
19.基于所述偏航角参数确定所述目标风力发电机的风轮平面位置信息；
20.基于所述风轮平面位置信息获取所述目标风力发电机的全部叶片的矩形边界框识别信息和相对位置信息；
21.基于所述所述风轮平面位置信息、全部叶片的矩形边界框识别信息和相对位置信息确定叶片倾角参数。
22.在一个可能的实施方式中，所述方法还包括：
23.基于所述偏航角参数和无人机的实时位置信息，确定所述目标风力发电机的塔柱高度。
24.在一个可能的实施方式中，所述方法还包括：
25.控制所述无人机飞行到预设目标位置并记录无人机在wgs-84坐标系的第二位置信息；
26.基于所述第二位置信息确定所述无人机在以塔柱基座为原点的东北天坐标系下的z坐标数值；
27.将所述z坐标数值作为所述目标风力发电机的塔柱高度。
28.在一个可能的实施方式中，所述方法还包括：
29.获取所述目标风力发电机的轮毂尺寸信息；
30.获取轮毂矩形边界识别框在采集到的所述目标风力发电机的图像中的第三位置信息；
31.基于所述轮毂尺寸信息和所述第三位置信息确定所述无人机与所述目标风力发电机的距离。
32.在一个可能的实施方式中，所述方法还包括：
33.基于所述无人机与所述目标风力发电机的距离，动态调整所述无人机的悬停位置，用于测算所述目标风力发电机的叶片倾角参数。
34.第二方面，本发明实施例提供一种风力发电机的停机姿态参数测量装置，包括：
35.获取模块，用于获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边
界识别框的横纵比；
36.确定模块，用于基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数；
37.所述确定模块，还用于基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数。
38.第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的风力发电机的停机姿态参数测量程序，以实现上述第一方面中所述的风力发电机的停机姿态参数测量方法。
39.第四方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的风力发电机的停机姿态参数测量方法。
40.本发明实施例提供的风力发电机的停机姿态参数测量方案，通过获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比；基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数；基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数。相比于现有技术方案中，采用激光雷达设备来获取精准的点云数据的方法其所需的设备造价昂贵检测成本高，通过角点检测方法定位风机的关键点从而进一步计算这些关键点的空间位置坐标的方法，在关键点定位步骤上的误差易造成最终位姿计算结果的偏差的问题，由本方案，基于无人机视觉进行风力发电机的停机姿态参数获取，可以低成本、高效精准的获取风力发电机的停机姿态参数，提高无人机自动化巡检与运维效率。
附图说明
41.图1为本发明实施例提供的一种风力发电机的停机姿态参数测量方法的流程示意图；
42.图2为本发明实施例提供的一种s12的流程示意图；
43.图3为本发明实施例提供一种s13的流程示意图；
44.图4为本发明实施例提供的一种风力发电机的塔柱高度测量方法的流程示意图；
45.图5为本发明实施例提供的一种无人机与风力发电机的距离的测量方法流程示意图；
46.图6为本发明实施例提供的一种无人机飞行到了风轮平面π上的示意图；
47.图7为本发明实施例提供的一种测算塔柱高度的示意图；
48.图8为本发明实施例提供的一种空间中某点在相机坐标系和图像坐标系下的关系示意图；
49.图9为本发明实施例提供的一种测算叶片倾角参数的示意图；
50.图10为本发明实施例提供的一种风力发电机的停机姿态参数测量装置的结构示意图；
51.图11为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
54.图1为本发明实施例提供的一种风力发电机的停机姿态参数测量方法的流程示意图，如图1所示，具体包括：
55.s11、获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比。
56.本发明实施例利用无人机视觉进行风力发电机的停机姿态参数获取，其中，停机姿态参数包括但不限于偏航角、叶片倾斜角度，风力发电机塔柱高度和无人机距离风力发电机的距离等参数。
57.首先，启动并控制无人机飞行到预设位置悬停，该预设位置可以为距离塔柱约1.5-2个叶片长度处，然后控制无人机自底向上缓慢飞行，在无人机飞行过程中通过图像传感器采集视频流，同时使用目标识别及分割算法对视频流进行处理，当稳定识别到轮毂或者发电机时，控制无人机以当前高度绕塔柱圆周环绕飞行，对视频流中的叶片继续进行检测，当检测识别到风力发电机的三个叶片时，实时计算三个叶片的相对位置以及各自叶片矩形边界识别框的横纵比(矩形边界识别框宽度/高度)。
58.s12、基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数。
59.基于上述获取到的叶片矩形边界识别框的横纵比，无人机环绕飞行时，将这三个矩形边界识别框的横纵比中的最小值作为此刻的矩形框度量值。在环绕飞行一周的过程中，确定矩形框度量值最小的两个位置p1和p2，如图6所示，表示此时无人机飞行到了风轮平面π上，读取位置传感器数据获取此时的关键位置点p1的位置信息和点p2的位置信息，这两个位置不一定完全对称，但是环绕一周总的变化趋势是在位于风轮平面的位置上最小，越过这两个位置横纵比又会逐渐变大，由于风机外形很大，所以位置上存在一些偏差对最后结果的影响可以忽略。根据p1的位置信息、p2的位置信息和风力发电机塔柱的位置信息计算出风轮平面π的方向向量，从而进一步计算方向向量与东北天坐标系(enu)中y轴之间形成的偏航角。
60.s13、基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数。
61.当控制无人机飞行到位于风力发电机风轮面的正前方，能同时识别出三个风力发电机叶片的位置时，根据检测的叶片位置来测算叶片倾角参数。因为安装在风力发电机轮毂上三扇叶片是均匀分布的，它们之间互成120
°
角，所以只需测算逆时针方针离风力发电机塔柱最近的那扇叶片，此处可以记为1#叶片，与塔柱之间的夹角θ，其余两扇叶片的角度位置只需在基准夹角θ之上增加120
°
和240
°
即可。如图9所示，由于经过前述的动态调整，此时无人机已经飞行到与风力发电机风轮平面平行，轮毂的正前方位置，因此1#叶片矩形边界框的对角线和竖直的塔柱之间的夹角便是叶片倾角参数θ。
62.本发明实施例提供的风力发电机的停机姿态参数的测量方法，通过获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比；基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数；基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数，相比于现有的技术方案中，采用激光雷达设备来获取精准的点云数据的方法所需的设备造价昂贵检测成本高，通过角点检测方法定位风力发电机的关键点从而进一步计算这些关键点的空间位置坐标的方法，在关键点定位步骤上的误差易造成最终位姿计算结果较大程度偏差的问题，由本方法，基于无人机视觉进行风力发电机的停机姿态参数获取，可以低成本、高效精准的获取风力发电机的停机姿态参数，提高无人机自动化巡检与运维效率。
63.图2为本发明实施例提供的一种s12的流程示意图，如图2所示，具体包括：
64.s21、将所述横纵比中的最小值作为矩形框度量值。
65.s22、在无人机环绕所述目标风力发电机的塔柱圆周飞行一周时，确定矩形框度量值最小的两个相对目标位置信息。
66.s23、基于所述两个相对目标位置信息和塔柱的第一位置信息，确定风轮平面的方向向量。
67.s24、基于所述方向向量确定所述方向向量与东北天坐标系中y轴之间形成的偏航角参数。
68.以下对s21～s24进行统一说明：
69.启动无人机运行，可以根据待检测风力发电机塔柱wgs-84坐标系的位置信息控制无人机飞行到距离塔柱地基约1.5-2个叶片长度处悬停，之后控制无人机自底向上缓慢飞行，在无人机飞行过程中通过图像传感器采集视频流，同时运行mask-rcnn目标识别与分割算法对视频流进行处理，该算法经过预先的样本数据训练，可以识别框选出风力发电机叶片，轮毂与发电机位置和分割它们各自的mask掩模，当连续一段时间(例如，5-7s 或连续100-200帧)轮毂或者发电机的掩模和矩形边界识别框都能稳定地出现时，控制无人机以当前高度绕塔柱圆周环绕飞行一周，对视频流中的叶片继续进行检测，当检测到风力发电机的三个叶片时，实时计算三个叶片的相对位置以及各自叶片矩形边界识别框的横纵比(矩形边界识别框宽度/高度)。
70.进一步的，在无人机环绕飞行时，将这三个矩形框横纵比中的最小值作为此刻的矩形框度量值，在无人机环绕飞行一周的过程中，找到矩形框度量值最小的两个位置p1和p2，这两个位置不一定完全对称，但是环绕一周总的变化趋势是在位于风轮平面的位置上最小，越过这两个位置的横纵比会逐渐变大，由于风力发电机外形很大，所以位置上存在一些偏差对最后的结果影响可以忽略不计，如图6所示，表示此时无人机飞行到了风轮平面π上，其中，p1和p2是位于风轮平面上的，环绕飞行指绕风力发电机塔柱圆周飞行，半径可以是2个叶片长度；目前已知风轮面上的两个位置p1和 p2以及塔柱位置，可以估算出风轮面的大致位置，读取无人机中内嵌的gps 传感器，可以实时获取此时的关键位置点p1的位置信息和与点p2的位置信息，根据p1的位置信息，p2的位置信息和风力发电机塔柱的位置信息可以计算出风轮平面π的方向向量，从而进一步计算方向向量与东北天坐标系 (enu)中y轴之间形成的偏航角参数。
71.图3为本发明实施例提供一种s13的流程示意图，如图3所示，具体包括：
72.s31、基于所述偏航角参数确定所述目标风力发电机的风轮平面位置信息。
73.s32、基于所述风轮平面位置信息获取所述目标风力发电机的全部叶片的矩形边界框识别信息和相对位置信息。
74.s33、基于所述所述风轮平面位置信息、全部叶片的矩形边界框识别信息和相对位置信息确定叶片倾角参数。
75.以下对s31～s33进行统一说明：
76.当控制无人机飞行到位于风力发电机风轮面的正前方，能同时识别出三个风力发电机叶片的位置时，根据检测的叶片位置来测算叶片倾角参数。因为安装在风力发电机轮毂上三扇叶片是均匀分布的，它们之间互成120
°
角，所以只需测算逆时针方针离风力发电机塔柱最近的那扇叶片，此处可以记为1#叶片，与塔柱之间的夹角θ，其余两扇叶片的角度位置只需在基准夹角θ之上增加120
°
和240
°
即可。如图9所示，由于经过前述的动态调整，此时无人机已经飞行到与风力发电机风轮平面平行，轮毂的正前方位置，因此1#叶片矩形边界框的对角线和竖直的塔柱之间的夹角便是叶片倾角参数θ。
77.图4为本发明实施例提供的一种风力发电机的塔柱高度测量方法的流程示意图，如图4所示，具体包括：
78.s41、控制所述无人机飞行到预设目标位置并记录无人机在wgs-84 坐标系的第二位置信息。
79.s42、基于所述第二位置信息确定所述无人机在以塔柱基座为原点的东北天坐标系下的z坐标数值。
80.s43、将所述z坐标数值作为所述目标风力发电机的塔柱高度。
81.以下对s41～s43进行统一说明：
82.结合图7所示，在获取到偏航角参数后，估算风力发电机风轮平面的位置，控制无人机环绕飞行到风轮面正前方，即图像识别算法只识别出轮毂部件时表示为前方，当只识别出发电机部件时表示为后方。根据轮毂矩形边界识别框在图像上的位置实时动态调整无人机的上下左右飞行路径，当轮毂矩形边界识别框调整到图像中央位置处无人机悬停，风力发电机风轮面有正前和正后两个位置，需要借助其他特征去进一步区分，在正前方时，会有轮毂和叶片，发电机被遮挡，而图像中央位置指图像的几何中心点，即1/2宽度，1/2高度的位置处，记录此时的无人机wgs-84坐标系的位置信息(经度，纬度和高程)，即为位置点p，据此测算出无人机距离地平面的高度，即无人机在以塔柱基座为原点的东北天坐标系下的z坐标数值。由于无人机此时与轮毂中心位置等高，此数值即为风力发电机塔柱的高度，具体的计算方法如下：
83.风力发电机塔柱记为坐标原点p0，它在wgs-84坐标系下的表示为：
84.lla0＝(lon0,lat0,alt0)，而在ecef坐标系下表示为：
85.p0＝(x0,y0,z0)，将p0由wgs-84坐标系转换到ecef坐标系可按式(1) 所示，
[0086][0087]
其中，e为椭球的偏心率，n为基准椭球体的曲率半径，它们的计算如式(2)所示，
[0088][0089]
其中，a为地球的赤道半径，b为地球的极半径。
[0090]
同理，根据式(1)和式(2)，将wgs-84坐标系下的位置点p的经纬高数据转换到ecef坐标下，记为p＝(x，y，z)，再按式(3)计算点p在enu坐标系下的数值：
[0091][0092]
其中，s是变换矩阵，其形式如下，
[0093][0094]
最终，enu坐标系下u分量的数值即为风力发电机的塔柱高度。
[0095]
图5为本发明实施例提供的一种无人机与风力发电机的距离的测量方法流程示意图，如图5所示，具体包括：
[0096]
s51、获取所述目标风力发电机的轮毂尺寸信息。
[0097]
s52、获取轮毂矩形边界识别框在采集到的所述目标风力发电机的图像中的第三位置信息。
[0098]
s53、基于所述轮毂尺寸信息和所述第三位置信息确定所述无人机与所述目标风力发电机的距离。
[0099]
以下对s51～s53进行统一说明：
[0100]
当无人机在风力发电机风轮平面正前方飞行调整时，实时检测轮毂矩形边界识别框在采集到的目标风力发电机的图像中的位置和它的轮毂尺寸信息，风力发电机的轮毂尺寸信息可由风力发电机制造厂商处获得，主要包括轮毂型号数据，而无人机上搭载的视觉传感器通过平面标定法获得其相机内参数，其中焦距大小设定为f，根据视觉测量的小孔成像原理和视觉坐标系的转换关系，如图8所示，空间中某点在相机坐标系下的位置记为 (xc，yc，zc)，而在图像坐标系中记为(xc，yc)，它们之间的对应关系如式(4)所示：
[0101][0102]
设轮毂的真实宽度与高度为δxc与δyc，在成像平面上的测量宽度和高度分别为δxc和δyc，则无人机和风力发电机之间的距离d可以按照公式(5) 来测算：
[0103]
[0104]
根据实时测算的距离深度，可以动态调整无人机的飞行位置，控制无人机与风力发电机风轮平面之间的远近，当达到合适的距离时，无人机悬停为后续的叶片倾角参数的测算做准备。
[0105]
本发明在硬件设备上，采用基于纯视觉的技术路线方案，只使用高分辨率可见光相机采集图像信息从而代替了现有技术方案中的激光雷达设备；在算法处理上，综合使用了基于深度学习的目标分割方法和基于视觉测量的深度估计方法，能够简单高效便捷地获取风力发电机的停机姿态的多种参数，有效提高无人机巡检的自动化程度。
[0106]
本发明实施例提供的风力发电机的停机姿态参数的测量方法，通过获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比；基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数；基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数，由本方法，基于无人机视觉进行风力发电机的停机姿态参数获取，可以低成本、高效精准的获取风力发电机的停机姿态参数，提高无人机自动化巡检效率。
[0107]
图10示出了本发明实施例的一种风力发电机的停机姿态参数测量装置的结构示意图。如图10所示，该装置包括：
[0108]
获取模块1001，用于获取待测量停机姿态参数的目标风力发电机的每个叶片的矩形边界识别框的横纵比，详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
[0109]
确定模块1002，用于基于所述横纵比确定所述目标风力发电机的风轮平面方向向量与东北天坐标系中y轴之间形成的偏航角参数。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
[0110]
所述确定模块1002，还用于基于所述偏航角参数确定所述目标风力发电机的叶片倾角参数。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
[0111]
本发明实施例提供的风力发电机的停机姿态参数的测量装置，用于执行上述实施例提供的风力发电机的停机姿态参数的测量方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
[0112]
图11示出了本发明实施例的一种电子设备，如图11所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图11中以通过总线连接为例。
[0113]
处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signalprocessor，dsp)、专用集成电路(application specific integrated circuit， asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0114]
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中所提供方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
[0115]
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，
存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器 901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0116]
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
[0117]
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0118]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory， rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘 (solid-state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0119]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。