一种风机不停机巡检叶片跟踪算法及系统的制作方法

本发明涉及风机控制算法领域，尤其涉及一种风机不停机巡检叶片跟踪算法及系统。

背景技术：

1、随着可再生能源的重要性日益凸显，风能产业进入了快速发展的阶段，风机作为风能转换设备的核心部件，为了获得更强大的风能资源，提高发电效率，风机的塔架高度逐渐增加，且风机的尺寸也在逐渐增大，所以确保风电机组叶片运行在安全稳定的范围内是确保风力发电系统运行安全且有效的重要措施第一。而传统的风机巡检需要停机或者人工巡检，不仅费时费力，无法实时监测风机叶片的运行状况，还会导致发电能力下降和生产损失，所以本发明提出不停机巡检的概念，在风机运行过程中，通过图像处理和计算机视觉技术实时跟踪风机叶片的状态，目标是及时发现潜在的故障和异常情况，提高风机的运行效率和可靠性。

技术实现思路

1、本发明的目的是针对上述技术问题，用于实现风机不停机巡检时风机叶片的跟踪，包括以下步骤：

2、步骤s1，对预获取的风机叶片旋转过程视频进行帧采样，采用第一帧风机图像和对应的mask图作为初始信息，在mask图中，将风机和风机背景分割开来，确定风机在风机图像中的位置，通过长视频对象分割模型xmem跟踪后续帧中风机图像中的风机，进行语义分割产生mask图；

3、步骤s2，通过目标检测算法获取mask图中风机的轮廓的点集并执行凸包算法进行求解获得轮廓的点集的边界点集，计算筛选出边界点集中相邻点的垂线与轮廓的最长交线段及对应的垂线方程，确定出满足预设条件的两条垂线并确定交点，交点为风机的中心点；

4、步骤s3，通过边缘检测获取mask图中风机的边缘点集，通过凸包算法提取边缘点集构成的最大轮廓，进而计算最大轮廓的最小外接多边形，确定最小外接多边形的重心与风机的中心点的最小距离，进而确定风机的叶片关键点，进而对每个叶片关键点进行位置偏移和变化分析，以实现对叶片关键点的准确跟踪。

5、进一步地，通过长视频对象分割模型xmem跟踪后续帧中风机图像中的风机，进行语义分割产生mask图，包括，

6、特征储存池初始化，特征储存池包括长期记忆池、工作记忆池和敏感记忆池；

7、特征信息读取和分割，通过长期记忆池、工作记忆池和敏感记忆池对后续帧中的风机图像读取特征信息，特征信息用于生成风机图像对应的mask图；

8、特征储存池更新，在特征信息读取和分割的过程中，特征储存池根据不同的频率的更新特征储存池中的长期记忆池、工作记忆池和敏感记忆池。

9、进一步地，特征储存池更新包括；

10、每一帧更新敏感记忆池；敏感记忆池用于存储每一帧的特征信息，用于确保每一帧上的特征信息得到存储，并作为语义分割的数据源；

11、每隔预设帧数更新工作记忆池；工作记忆池根据预设帧数更新时，将当前帧的特征信息与已存储的工作记忆池的特征信息合并；

12、当工作记忆池达到设定的帧数时，将工作记忆池中的特征信息整合到长期记忆池中，当长期记忆池的存储空间已满，删除过时的特征以保证cpu的使用率。

13、进一步的，步骤s2包括，

14、计算边界点集中相邻点的垂线与轮廓的交线断长度，筛选出最长的交线段及对应的垂线方程；

15、对当前帧中所有的垂线方程对应的最长交线段的长度进行排序；

16、判断排序后的前两条垂直方程构成的夹角是否大于45°且小于135°；

17、当满足条件时，前两条垂直方程对应的垂线的交点即为风机的中心点；

18、当不满足条件时，将第一条垂直方程与第三条垂直方程开始依次类推判断构成的夹角是否大于45°且小于135°，当夹角满足大于45°且小于135°，则两条垂直方程对应的垂线的交点即为风机的中心点。

19、进一步地，步骤s3中包括，

20、通过边缘检测获取风机与背景分割后的风机的边缘点集；

21、提取最大轮廓，通过凸包算法求边缘点集中构成的最大轮廓，最大轮廓对应风机的边界；

22、计算最小外接多边形，计算最大轮廓的最小外接多边形；

23、计算叶片关键点，在最小外接多边形中取组三边形计算重心，并与风机的中心点求最小距离，记最小距离的三边形的三点为叶片关键点。

24、进一步地，步骤s3中，跟踪叶片关键点进一步包括，

25、初始化叶片关键点的像素坐标，默认将第一帧中，三个叶片关键点的像素坐标作为初始位置；

26、计算距离和排序，对于后续帧，根据上一帧叶片关键点中三点的像素坐标，找到距离三点的像素坐标最近的叶片关键点的位置坐标，计算叶片关键点的位置坐标与三点的像素坐标的距离，并按照距离大小进行距离排序；

27、叶片关键点跟踪序号分配，选择距离排序最近的两个点，分配对应的叶片关键点的跟踪序号，第三个叶片关键点默认分配除一二两点外的跟踪序号，跟踪序号用来实现对于叶片关键点的跟踪；根据分配的跟踪序号，进而跟踪当前帧的风机的叶片位置。

28、基于相同的发明构思，本发明还提供了一种风机不停机巡检叶片跟踪系统，执行上述的风机不停机巡检叶片跟踪算法，包括，

29、风机识别及跟踪模块，对预获取的风机叶片旋转过程视频进行帧采样并识别跟踪视频帧中的风机，通过长视频对象分割模型xmem进行语义分割生成对应的mask图；

30、风机几何特征计算模块，通过凸包算法和垂线计算，找出满足条件的两条垂线，求出两条垂线的交点，确定风机的中心点；

31、风机叶片关键点跟踪模块；根据风机的中心点，提取风机的叶片关键点，以实现对叶片关键点的持续跟踪。

32、进一步地，风机识别及跟踪模块包括，

33、视频帧处理单元，对风机叶片旋转过程视频进行帧采样，并基于第一张风机图像和对应的mask图作为初始信息进行操作；

34、特征记忆管理单元，处理并更新长视频对象分割模型xmem中的特征记忆池，特征记忆池用于存储风机图像的特征信息，包括敏感记忆池、工作记忆池和长期记忆池；

35、风机跟踪分割单元，长视频对象分割模型xmem根据特征信息对后续帧中的风机图像进行语义分割产生对应的mask图。

36、进一步地，风机几何特征计算模块，包括，

37、轮廓提取单元，获取mask图中风机的轮廓的点集，通过凸包算法提取边界点集；

38、中心点计算单元，基于边界点集，计算筛选出边界点集中相邻点的垂线与轮廓的最长交线段以及对应的垂线方程，确定出满足预设条件的两条垂线并确定交点，交点为所述风机的中心点。

39、进一步地，风机叶片关键点跟踪模块，包括，

40、边缘检测单元，获取mask图中风机的边缘点集；

41、凸包构建单元，通过凸包算法提取边缘点集构成的最大轮廓并获取最大轮廓的最小外接多边形；

42、重心计算单元，确定最小外接多边形的重心；

43、关键点确定单元，计算重心与风机的中心点的最小距离，通过最小距离确定风机的叶片关键点；

44、关键点跟踪单元，对每个叶片关键点进行位置偏移和变化分析，以实现对叶片关键点的准确跟踪。

45、与现有技术相比，本发明存在以下至少一种技术效果：

46、(1)本发明提供的风机不停机巡检叶片跟踪算法可以在风机不停机的情况下对叶片进行跟踪，传统的维护方式通常需要停机或者人工巡检，而本发明通过计算机视觉和图像处理技术的算法，实现对叶片的自动跟踪，避免了停机和人工干预，提高了维护风机的效率和风机的利用率，减少了人工巡检的工作量和维护成本，降低了人为因素带来的误判和风险。

47、(2)本发明能够实现对风机叶片的精确分割和跟踪，通过准确提取叶片的边缘、关键点和形态信息，实现对于叶片的精细定位，提高跟踪时候的准确性和稳定性。