风电叶片铺层过程缺陷检测方法、装置、电子设备和介质与流程

本技术属于风力发电，尤其涉及一种风电叶片铺层过程缺陷检测方法、装置、电子设备和介质。

背景技术：

1、视觉缺陷检测在风电叶片行业检测领域已有开展，相关技术中开展应用的缺陷检测均针对叶片成品或风场挂机叶片，通过借用无人机、移动机器人等进行图像采集、分析等。针对风电叶片行业，目前尚未开展在叶片制造过程场景的应用，且相关的视觉缺陷检测技术偏重机器设备开发和针对图像拼接定位的算法优化，仅能识别裂纹、雷击、碳化等外观破损缺陷，无法满足工厂针对制造端人员行为和作业过程缺陷进行监控识别的需求，难以从源头对缺陷进行预防、纠正。

技术实现思路

1、本技术实施例提供一种风电叶片铺层过程缺陷检测方法、装置、电子设备和介质，解决了风电叶片工厂无法针对制造端人员行为和作业过程缺陷进行监控识别，难以从源头预防缺陷、纠正缺陷的问题。

2、第一方面，本技术实施例提供了一种风电叶片铺层过程缺陷检测方法，用于终端设备，该方法包括：在发送的第一数据达到预设数值阈值后，采集铺层过程中的待测图像，生成第二数据；向服务器发送第二数据，以用于服务器基于成熟鉴别模型对第二数据进行识别，在成熟鉴别模型识别到特定语义动作的情况下，基于成熟鉴别模型确定第二数据对应的目标缺陷数据；收服务器发送的目标缺陷数据，基于目标缺陷数据分别进行预警和激光标识。

3、根据本技术实施例的第一方面，在发送的第一数据达到预设数值阈值后，采集铺层过程中的待测图像，生成第二数据之前，方法还包括：采集特定语义动作和铺层过程中的缺陷图像，生成第一数据；向服务器发送第一数据。

4、根据本技术实施例的第一方面，采集特定语义动作和铺层过程中的缺陷图像，生成第一数据之前，方法还包括：根据待安装的工业面阵相机的焦距、工作距离和目标高度，确定目标宽度信息，工业面阵相机用于采集缺陷图像和待测图像；基于目标宽度信息，沿风电叶片主模具边缘按预定间隔安装工业面阵相机，其中，在风电叶片叶根区域，工业面阵相机设有两组并对称布置于铺层工区的两侧，在风电叶片叶中和叶尖区域，工业面阵相机设有一组并设于铺层工区的一侧。

5、根据本技术实施例的第一方面，接收服务器发送的目标缺陷数据，基于目标缺陷数据分别进行预警和激光标识之前，方法还包括：基于目标宽度信息，沿风电叶片铺层工区两侧的人工通道安装激光云台，激光云台与工业面阵相机一一对应并间隔布置，激光云台用于基于目标缺陷数据进行激光标识，以确定风电叶片铺层过程中的缺陷位置。

6、根据本技术实施例的第一方面，接收服务器发送的目标缺陷数据，基于目标缺陷数据分别进行预警和激光标识之前，方法还包括：使用激光云台在风电叶片模具上任意投射两个端点；确定覆盖两个端点连线的目标区段，并测量两个端点连线的长度l；使用工业面阵相机拍摄能够覆盖目标区段的图像，确定第三数据，其中，第三数据包括目标区段的长度l和覆盖目标区段的图像；向服务器发送第三数据，以用于服务器基于第三数据中两个端点的像素坐标，确定第三数据中目标区段的像素点个数。

7、第二方面，本技术实施例提供了一种风电叶片铺层过程缺陷检测方法，用于服务器，该方法包括：接收终端设备发送的第二数据，基于成熟鉴别模型对第二数据进行识别，在成熟鉴别模型识别到特定语义动作的情况下，基于成熟鉴别模型确定第二数据对应的目标缺陷数据，其中，缺陷信息包括缺陷位置坐标信息和尺寸信息；向终端设备发送目标缺陷数据，以用于终端设备基于目标缺陷数据分别进行预警和激光标识。

8、根据本技术实施例的第二方面，接收终端设备发送的第二数据，基于成熟鉴别模型对第二数据进行识别，在成熟鉴别模型识别到特定语义动作的情况下，基于成熟鉴别模型确定第二数据对应的目标缺陷数据之前，方法还包括：接收终端设备发送的第一数据，第一数据包括特定语义动作和铺层过程中的缺陷图像；对第一数据进行预处理，确定标注缺陷数据；于特定语义动作和标注缺陷数据，通过训练和调优确定成熟鉴别模型。

9、根据本技术实施例的第二方面，向终端设备发送目标缺陷数据，以用于终端设备基于目标缺陷数据分别进行预警和激光标识之前，方法还包括：接收终端设备发送的第三数据，并基于第三数据中两个端点的像素坐标，确定第三数据中目标区段的像素点个数；根据目标区段的长度l和目标区段的像素点个数，确定单个像素点映射的实际长度d；根据预设缺陷阈值，从缺陷信息中筛选出目标缺陷图像，并确定目标缺陷图像对应的目标矩形框和目标矩形框的中心点坐标，其中，预设缺陷阈值包括预设长宽比阈值和预设面积阈值；基于目标矩形框的中心点坐标和单个像素点映射的实际长度d，计算待标识坐标，确定目标缺陷数据。

10、根据本技术实施例的第二方面，对第一数据进行预处理，确定标注缺陷数据，包括：对第一数据进行图像清洗，以清除重复图像、低质量图像和不标准图像中的每一者，确定一级中间数据；对一级中间数据进行翻转、亮度调整和噪声处理来确定二级中间数据；利用图像标注工具对二级中间数据进行标注，确定标注缺陷数据，其中，标注缺陷数据包括缺陷的种类、缺陷的矩形框坐标。

11、根据本技术实施例的第二方面，基于特定语义动作和标注缺陷数据，通过训练和调优确定成熟鉴别模型，包括：将特定语义动作和标注缺陷数据按预定比例划分为训练集和测试集；于训练集，采用yolov5算法训练初始鉴别模型，并生成可视化数据，其中，可视化数据包括训练损失、验证损失、混淆矩阵、精确率和召回率。

12、根据本技术实施例的第二方面，基于训练集，采用yolov5训练初始鉴别模型，并生成可视化数据之后，方法还包括：基于初始鉴别模型对测试集进行测试，确定准确率和检出率；根据测试集的准确率和检出率，采用控制变量法调整初始鉴别模型的超参数，以优化初始鉴别模型来提高检出率，确定成熟鉴别模型，其中，超参数包括学习率和批次容量。

13、第三方面，本技术实施例提供了一种风电叶片铺层过程缺陷自动检测装置，用于终端设备，该装置包括：采集模块，用于在发送的第一数据达到预设数值阈值后，采集铺层过程中的待测图像，生成第二数据；第一发送模块，用于向服务器发送第二数据，以用于服务器基于成熟鉴别模型对第二数据进行识别，在成熟鉴别模型识别到特定语义动作的情况下，基于成熟鉴别模型确定第二数据对应的目标缺陷数据；接收模块，接收服务器发送的目标缺陷数据，基于目标缺陷数据分别进行预警和激光标识。

14、第四方面，本技术实施例提供了一种风电叶片铺层过程缺陷自动检测装置，用于服务器，该装置包括：识别模块，用于接收终端设备发送的第二数据，基于成熟鉴别模型对第二数据进行识别，在成熟鉴别模型识别到特定语义动作的情况下，基于成熟鉴别模型确定第二数据对应的目标缺陷数据；第二发送模块，用于向终端设备发送目标缺陷数据，以用于终端设备基于目标缺陷数据分别进行预警和激光标识。

15、第五方面，本技术实施例提供了一种电子设备，该电子设备包括收发器、处理器、存储器及存储在存储器上并可在处理器上运行的程序，程序被处理器执行时实现前述第一方面或第二方面中的风电叶片铺层过程缺陷检测方法。

16、第六方面，本技术实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现前述第一方面和第二方面中的方法的步骤。

17、本技术实施例提供的风电叶片铺层过程缺陷检测方法、装置、电子设备和介质，通过采集特定语义动作和风电叶片铺层过程中的缺陷图像来训练并确定成熟鉴别模型，将成熟鉴别模型应用到实际铺层作业中，对工业面阵相机采集的现场图像进行鉴别并确定缺陷位置和缺陷尺寸，在成熟鉴别模型对现场图像进行鉴别的过程中，模型会自动在图像缺陷区域标记矩形框，通过将检出缺陷尺寸与预设缺陷阈值对比，服务器能够确定是否需要提醒作业人员及时对缺陷进行处理。在缺陷尺寸超出预设缺陷阈值的情况下，通过分析矩形框的中心坐标和图像单个像素点映射到现场的实际长度，便能够确定缺陷中心的实际坐标，服务器发送指令信息至激光云台，激光云台能够进行报警，并向缺陷中心的实际坐标位置投射激光，实现了精准的缺陷定位和报警，从而作业人员能够在风电叶片铺层过程中，及时对缺陷进行纠正，还能够识别操作工特定语义动作作为检测铺层缺陷的开始信号，减少无必要的报警频次，填补了针对风电叶片铺层过程进行缺陷智能检测的空白。