在线风机叶片损伤实时诊断系统和方法与流程

本发明涉及风机叶片损伤诊断领域，尤其涉及一种在线风机叶片损伤实时诊断系统和方法。

背景技术：

现有技术中存在多种风机叶片故障诊断方案，但现存的各方案都存在一定缺点。发明专利申请CN107144569A提出了基于选择性搜索分割和深度卷积神经网络为特征提取器的SVM分类算法的风机叶片故障诊断方法。首先，其将待检测的图像进行选择性搜索分割获得候选区域；然后，通过ImageNet图像集训练深度卷积神经网络，并提取除输出层外的网络结构作为特征提取器；最后，将提取的风机叶片图像的特征用作训练SVM分类器，完成故障诊断任务。其存在以下缺陷：对于风机叶片图像的故障诊断算法，该方法提出利用Imagenet图像作为训练数据，以确定深度卷积网络结构参数，该固化网络结构参数的方法，不能说明该网络结构性能达到最优。发明专利申请CN104215640A提出了一种基于无人直升机的风电叶片缺陷损伤检查方法及检查系统。通过在小型无人直升机上设置光、热、声信号采集装置，操纵无人直升机接近风电场风机塔上的叶片，采集叶片的光、热、声信号，记录或传回信号，供地面工作人员分析叶片状态，完成风机故障检测任务。其存在以下缺陷：该方法提出利用无人直升机搭载光、热、声信号采集装置，针对风机叶片进行数据采集，无人直升机在风力较大的环境执行数据采集任务并非十分稳定，且其结构复杂，运行时振动和噪声较高、维护检修工作量较大、使用成本较高，续航能力差，可见并不完全适合该任务。发明专利申请CN109741320A提出了一种基于航拍图像的风电叶片故障检测方法，通过无人机采集风机叶片图像，基于增强的图像构建风电叶片三维可视化模型，采用差分发法将原有的含缺陷的图像与重构的图像相减得到其主成分的残差信息并进行逆变换，运用Alexnet对缺陷的叶片图像完成剥落、裂纹、沙眼等类别的分类，并利用深度网络分级模型，根据缺陷损坏程度划分为不同的缺陷等级。其存在以下缺陷：该风电叶片故障检测方法中，运用Alexnet基于图像对风机叶片损伤进行分类，而Alexnet分类方法是结构较为简单的分类方法，而且该方法仅对叶片涂层剥落、裂纹、沙眼等三种损伤进行检测，且损伤等级结果精度不高。

技术实现要素：

根据本发明的一个方面，提出了一种在线风机叶片损伤实时诊断系统，所述系统包括四旋翼无人机、云数据库以及计算机系统；所述四旋翼无人机实时捕捉风机叶片图像并实时传递至所述计算机系统；所述云数据库存储有用于VGG-19net图像分类方法的图像库，所述云数据库中存储的图像库中的图像从网络动态捕获；所述计算机系统用于通过所述图像库训练得到改进的VGG-19net图像分类方法，并使用所述改进的VGG-19net图像分类方法对接收的来自四旋翼无人机的风机叶片图像进行分类，得到风机叶片损伤诊断、损伤等级划分结果。

根据本发明的一个方面，所述四旋翼无人机包括位于机身上的用于四周避障的一个或多个测距传感器、用于与计算机系统通信的无线信号发射器以及捕捉图像的云台。

根据本发明的一个方面，所述四旋翼无人机根据风机所处的工况采取不同的巡航路径采集风机叶片图像。

根据本发明的一个方面，当风机在弱风期停工检修时，无人机距离风叶第一间距，无人机从巡检起点到巡检终点的巡检路线为绕三个风机叶片一周；当风机在日常慢速转动时，无人机距离风叶第一间距，无人机从风机三个叶片的交点处出发，沿第一叶片的长度方向巡航，随后巡航至第二叶片的离心端，从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点，最后从所述交点处沿第三叶片的长度方向巡航，直到第三叶片的离心端；当风机在盛风期风机叶片转速较快时，无人机距离风叶第二间距，无人机仅在风机叶片长度方向上的两个采样点间往复运动；其中，第二间距大于第一间距，且根据无人机距离风叶的距离设置采样点的数量，以确保能够采集风机叶片的全部图像。

根据本发明的一个方面，所述云数据库通过Python爬虫获取指定网址或全网的风机叶片表面图像进行存储。

根据本发明的一个方面，所述计算机系统将所述四旋翼无人机定期捕获的风机叶片图像上传至所述指定网址以由所述Python爬虫获取并更新所述云数据库。

根据本发明的一个方面，所述改进的VGG-19net图像分类方法中，采用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层完成算法改进，并对分类层进行结构重构。

根据本发明的一个方面，所述重构的分类层中，损伤诊断分类包括背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类，损伤等级包括轻度损伤、中度损伤、重度损伤。

根据本发明的一个方面，还提出了一种在线风机叶片损伤实时诊断方法，所述方法包括：四旋翼无人机采集风机叶片图像并将采集的图像传递至计算机系统；计算机系统利用云数据库提供的动态更新的图像库训练改进的VGG-19net图像分类方法中的VGG-19net模型；计算机系统接收所述采集的图像，利用VGG-19net图像分类方法对图像进行分类；计算机系统根据图像分类结果输出叶片损伤情况。

本方案采用四旋翼无人机，其抗风能力较强，低能耗、高功效、基本垂直起降、不易受环境因素影响等特点，比无人直升机四旋翼无人机更适合采集风机叶片数据。本方案还提出了将风机叶片数据采集并保存和传输到地面分析站后，诊断其损伤类别的分类方法，基于深度卷积网络VGG-19net进行改进，VGG-19net是性能较优的分类算法，并获得2014年度Imagenet大规模视觉识别挑战赛(Large Scale Visual Recognition Challenge，ILSVRC)冠军，其网络结构参数是在一定的理论基础上固化的，改进的方法在此基础上只增加一个参数，可以通过逐次修改该参数实验的方法来确定所改进的分类算法最优结构，并对其进行损伤分级，建立人机交互界面，实现风机叶片表面损伤一键式诊断。由此可见，本发明的创新点包括：设计了用于采集风机叶片图像的无人机所需搭载的功能模块；根据风机的运行情况，规划了多种无人机巡航路径，设计了多种图像采集方案；采用改进的VGG-19net对风机叶片常发的多种损伤进行自动诊断；利用Python爬虫获取网页中最新的风机叶片图像，并将其列入训练集中，用于训练改进的VGG-19net分类器，提高分类器的泛化能力；建立了人机交互界面，构成较为完整的在线风机叶片损伤诊断系统。

附图说明

图1示出了四旋翼无人机的侧视图；

图2示出了四旋翼无人机的俯视图；

图3示出了无人机与风机叶片的第一间距示意图；

图4示出了风机停机检修状态下无人机的巡航示意图；

图5示出了风机慢速转动的示意图；

图6示出了风机慢速转动状态下无人机的巡航示意图；

图7示出了风机快速转动状态下无人机与风机叶片的第二间距示意图；

图8示出了风机快速转动状态下无人机的巡航示意图；

图9a和图9b分别示出了LeakyReLU与ReLU的激活函数模型示意图；

图10示出了改进重构的VGG-19net分类方法的结构示意图；

图11示出了网络爬虫获取数据的示意图；

图12示出了计算机系统中风机叶片损伤诊断系统的GUI示意图；

图13示出了本发明提出的在线风机叶片损伤实时诊断系统的整体连接示意图；

图14示出了在线风机叶片损伤实时诊断方法的各步骤示意图。

具体实施方式

图1-2示出了本发明所使用的四旋翼无人机的示意图。

如图1、2所示，所述四旋翼无人机包括位于机身上的一个或多个向下测距传感器101、向上测距传感器104、向左测距传感器105、向右测距传感器106、向前测距传感器102、向后测距传感器103、无线信号发射器107、开关108以及云台100。其中，四个向下测距传感器安装在无人机的下方，用于下方避障，降落缓冲；四个向上测距传感器安置在四旋翼无人机的上方，用于当云台俯倾巡检拍摄时，对上方进行避障；无人机的前、后、左、右各装置一个测距传感器，分别为向前测距传感器、向后测距传感器、向左测距传感器、向右测距传感器，也均用于避障。所述无线信号发射器用于云台巡检实时回传，向地面诊断系统回传所采集的图像。

图3-8示出了无人机在风机不同转速下与风机的距离、采样点及巡航路径的示意图。本发明通过四旋翼无人机对在不同工况下的风机叶片进行图像采样，以无人机巡航的方式，全面、准确地捕获风机叶片表面损伤图像，并实时传输至地面工作区。

图3和图4示出了在风机弱风期停工检修时无人机的巡航路径及图像采集方法。

如图3、4所示，风机在弱风期停工检修时，在一个实施例中，无人机距离风叶的距离为8米，由于其能够至少可以采集到长为15米、宽为10米的风机叶片表面图像，在风机叶片的长度为25米、宽度一般不会超过5米的情况下，每个风叶设置两个图像采样点，可确保叶片该翼面均纳入图像中。

在图4的示例中展示了无人机在风机弱风期停工检修时围绕风机拍摄图像的巡检路线。如图4所示，其从巡检起点到巡检终点的巡检路线整体上绕三枚风机叶片一周，每个风机叶片一侧均具有两个图像采样点。

图5、6示出了无人机在风机日常慢速转动时其采样点及巡航路径的示意图。

当风机如图5所示慢速转动时，四旋翼无人机如图6所述进行图像采样。无人机从风机三个叶片的交点处出发(巡航起点)，沿第一叶片的长度方向巡航，在第一叶片上设置两个图像采样点，随后巡航至第二叶片的离心端(即第二叶片远离三叶片交点的一端)，从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点，在该过程中同样设置两个图像采样点，最后从所述交点处沿第三叶片的长度方向巡航，直到第三叶片的离心端，该过程同样设置两个图像采样点。由此完成所有叶片的图像采集工作。

与图3、4相比，当风机在转动时，无人机由于要随着风机叶片同样进行转动，因此难以绕三个叶片均一周，因此其采样点相对于停工检修时数量减少一半。但是，其与风叶的距离可以与图3、4的工况相同，因为慢速转动时风速较小，不会影响无人机的工作稳定性。

图7、8示出了无人机在盛风期风机叶片转速较快时的采样方法和巡航路径。

如图7所示，当风机叶片转速较快时，无人机距离叶片旋转平面需加大一定距离，防止风机叶片旋转带动周围气体流速影响四旋翼无人机系统工作稳定性，在一个实施例中，该距离为10-15米。

此外，由于风机叶片转速较快，无人机难以追随叶片同速率转动，因此，在图8所示的图像采样点和巡航路径中，无人机仅在风机叶片长度方向上的两个采样点间往复运动，在图8的实施例中，其在风机叶片交点垂直于地面的方向上的两个采样点间往复运动，对经过采样点的三个风机叶片进行分别采样。

如上文所述的无人机图像采样系统和方法，能够根据不同工况采用合理的间距和巡航路径及采样点进行图像采样，尽可能地保障了图像采样的完备性和准确性，还保证了设备安全和运行稳定性。

当无人机通过云台上的摄像机对风机叶片的图像进行收集后，将图像传输至计算机系统，计算机系统对所述图像中的叶片损伤进行判断，输出最终的损伤分类结果。

在所述计算机系统中，采用改进的VGG-19net方法对图像进行分类，从而确定叶片的具体损伤。

与卷积神经网络相同，其简化图像预处理步骤，运用卷积核对图像自动进行特征提取，无需人工设定提取的特征，排除人为客观因素对该分类算法的影响。VGG-19net是现有的分类算法，它优于传统的卷积神经网络，是因为它引入了ReLU激活功能子层和Dropout功能子层，ReLU激活函数使得VGG-19net具有仿生非线性映射功能，模拟大脑神经元稀疏态连接，完成图像特征的非线性映射；Dropout子层，随机隐匿神经元的权值和链接权重，在训练过程中使得VGG-19net获得较强的联合适应能力、较强的泛化能力，在测试过程中，使得VGG-19net卷积层以及全连接的特征呈稀疏态传递映射，避免出现梯度分散、梯度消失等状况。

本诊断系统对其激活函数进行了改进，虽然ReLU作为激活函数，其可使网络神经元稀疏态激活，缓解了梯度发散、梯度消失、网络参数过拟合等状况。但是，ReLU作为激活函数，会导致部分神经元可能永远不会被激活，其相应的参数永远不能被更新，即死区问题(Dead ReLU Problem)。所以，为了解决这类问题，本申请用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层，LeakyReLU与ReLU不同的是其令小于0的输入值乘以一个很小的斜率，作为该神经元的权值，从而解决这类死区问题。图9a和图9b分别示出了LeakyReLU与ReLU的激活函数模型示意图。

此外，本诊断系统对VGG-19net方法的分类层进行了重构。由于VGG-19net的分类层设置分类类别为1000类，所以，为了使VGG-19net更能适应风机叶片表面损伤诊断，需重构分类层，重新设置分类层类别数，损伤诊断设置为11类，分别为背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类；损伤等级划分设置为3类，分别为轻度损伤、中度损伤、重度损伤。图10示出了改进重构的VGG-19net分类方法的结构示意图。

本发明提出的诊断损伤分别为背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类等11类，其中，背景类包括天空背景、草地背景；无损伤类是指不存在损伤的叶片图像等；伪损伤类包括红色箭头(标识发电运行方向)、排水孔、蓝色三角形(标识发电运行方向)；砂眼类是指只存在椭圆形的损伤(砂眼、砂坑)；裂纹类主要是指只存在呈长条状的损伤(划痕、裂纹)；麻面类是指由密集的砂眼类损伤广泛分布构成损伤；涂层脱落类损伤是指图像中叶片表面涂层发生脱落的情况；涂层修复类是指涂层存在修复痕迹的情况；边缘腐蚀类损伤是指叶片边缘存在腐蚀甚至开裂损伤的图像；混合损伤类是指图像中叶片包含损伤的形状和类型具有多样性的情况；表面渗水类损伤是指图像中叶片存在浸水的情况。

损伤等级划分为三级，包括轻度损伤、中度损伤和重度损伤，其中，轻度损伤是指叶片存在单个或小面积的损伤，且较为浅显(表面)程度的损伤；中度损伤是指分布广且较浅的损伤；重度损伤是指密集且较深、较严重的损伤。

VGG-19net分类方法的训练需要图像数据库的支撑，从中提取出训练图像数据集和测试图像数据集，本发明采用了云数据库的训练方法，提高VGG-19net分类方法的准确性。

如图11所示，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物(数据)，爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；Python是一种编程语言，其具有简洁清晰的语法和强制使用空白符进行语句缩进等特点，适用于多版本软件平台，均可实现爬虫功能。

所述云数据库的形成方法为：

建立具有交互功能的Python爬虫；

通过Python爬虫获取指定网址，或全网的风机叶片表面图像并创建云数据库。

这样，可得VGG-19net具备更好的泛化能力。

如上文所述，本发明采用改进的VGG-19net深度卷积分类方法，以图像作为输入，进行训练或测试，假设神经网络的输入为X＝{x1，x2，x3……xi}，输出为Y(y1、y2、y3、y4……ym)，输入X和输出Y是存在某种对应关系的，训练是指向网络输入足够多的X和Y样本，利用输入输出的对应关系，调整神经网络神经元的权值和链接权使其可适当拟合输入X和输出Y的非线性映射关系。测试则是指验证该神经网络对该问题的拟合程度。

以BP神经网络、VGG-19net和改进的VGG-19net三种方法进行对比，实验结果表明，本申请中改进的VGG-19net的分类效果最优，对于损伤诊断任务，其诊断率可达96％以上，对于损伤等级划分任务，其诊断准确率可达95％以上。

此外，在上文所述的计算机系统中，可基于MATLAB中GUI模块建立人机交互界面，该界面包含3个坐标图像显示单元和7个按钮，分别为图像选择按钮、损伤诊断按钮、等级划分按钮、加入训练样本集按钮、训练分类器按钮、复位按钮、退出系统按钮，如图12所示。

图13示出了在线风机叶片损伤实时诊断系统的整体结构示意图，其中云数据库与计算机系统、无人机与计算机系统之间具有可通信的连接。图14示出了在线风机叶片损伤实时诊断方法的各步骤示意图。

本发明实现了在线风机叶片表面损伤诊断检测。基于无人机巡检方式捕获风机叶片表面损伤图像，运用改进ReLU子层、重构分类层的VGG-19net对风机叶片表面损伤进行诊断，深度卷积神经网络可实现图像特征自动提取；LeakyReLU激活函数使得VGG-19net具有仿生非线性映射功能，模拟大脑神经元稀疏态连接，完成图像特征的非线性映射；并运用Python爬虫获取最新的风机叶片表面图像进行数据库更新，使得我们建立的VGG-19net分类模型更具泛化能力，可有效保证诊断的准确率。在一个实施例中，将某风电厂风机叶片表面定期巡检拍摄的图片更新于某指定网址，运用交互的Python爬虫获取该网址的图片，便可建立该厂风机叶片数据库，进行训练可提高VGG-19net模型的泛化能力和诊断准确率；进行诊断，可获得该厂的风机诊断报告，可针对某一型号风机易发生故障位置进行重点巡查，也可联系厂家对风机叶片易发生故障位置进行重新设计，弥补叶片生产的不足之处。

由此可见，本发明的优点为：实现风机叶片表面较为全面、细致的勘察；实现风机叶片表面损伤准确的诊断，以及损伤等级划分，改进并重构分类层的VGG-19net模型对于损伤诊断、损伤等级划分的准确率可达96％以上。使得风电生产现场的非专业工作人员也可完成风机叶片表面损伤诊断工作；实现数据库更新，利用交互的Python爬虫，对指定网址甚至全网最新的风机叶片表面图像进行收集，并添加到训练VGG-19net的数据库中，使得训练的模型更具泛化能力。建立了友好的人机交互界面，使非技术人员也可从事风机叶片表面损伤诊断工作。

本发明的上述实施例仅为对本发明技术方案的具体说明，并不意图限定本申请要求保护的范围。本领域技术人员可在不脱离本申请主旨的前提下对上述实施例进行适应性修改，所述修改同样落入本申请的保护范围之内。