基于轻量级边缘计算的无人机前端缺陷识别方法及系统与流程

本发明涉及图像处理，具体涉及一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统。

背景技术：

1、在各种工业领域，检测和识别目标表面的缺陷是确保设备、建筑物和基础设施运行安全性和可靠性的重要任务。这些领域包括但不限于建筑、制造业、能源、交通运输和自动化工程。传统上，缺陷检测通常需要进行视觉检查，这对于大型设备和建筑物来说可能是昂贵和耗时的过程。

2、近年来，无人机技术已经成为一种有前景的工具，用于快速、高效地检查目标表面的缺陷。无人机可以搭载高分辨率相机或其他传感器，能够提供从难以到达的角度和位置捕获的图像数据。然而，现有的无人机缺陷检测方法通常依赖于将图像数据传输到远程服务器进行处理和分析，这可能导致延迟、高通信成本以及对网络连接的依赖性。

3、此外，缺陷识别在某些情况下需要即时响应，例如在工业生产线上或在紧急情况下。因此，有必要提供一种在无人机前端执行的缺陷识别方法，以提高识别的实时性和效率。这需要将图像处理和机器学习技术集成到无人机的边缘计算单元中，以在飞行中执行缺陷检测，从而减少设备停机时间和维护成本。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统，用于快速、高效地检测和识别目标表面的缺陷，通过图像采集、数据处理和机器学习处理提高前沿缺陷检测的准确性和实时性，从而减少设备停机时间和维护成本具有实时性、高效性和节省通信成本的优点。

2、基于上述目的，第一方面，本发明提供了一种基于轻量级边缘计算的无人机前端缺陷识别方法，包括以下步骤：

3、s1：通过无人机进行航拍，捕捉目标区域的图像数据；

4、s2、将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息；

5、s3、使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征；

6、s4、根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中；

7、s5、将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息。

8、作为本发明的进一步方案，无人机捕捉目标区域的图像数据时，包括以下步骤：

9、按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；

10、基于无人机搭载的gps定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像、斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据。

11、作为本发明的进一步方案，对所述图像数据进行增强和预处理，包括以下步骤：

12、采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像；

13、调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度；

14、将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像；

15、使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线、目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征、亮度特征、颜色特征、凹凸特征以及深度特征。

16、作为本发明的进一步方案，所述目标检测模型为yolov4，使用yolov4识别和标识目标类型和缺陷特征，包括以下步骤：

17、模型加载：加载预训练的yolov4模型，将图像数据序列作为输入传递给yolov4模型；

18、目标检测和分类：基于所述yolov4模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；

19、缺陷特征分析：使用yolov4模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据。

20、作为本发明的进一步方案，使用yolov4模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：

21、使用canny边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；

22、使用harris角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；

23、提取的目标物体的边缘点、角点以及交叉点作为轮廓特征；

24、缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：

25、使用纹理滤波器提取目标表面的纹理特征，通过平均亮度、亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征。

26、作为本发明的进一步方案，基于深度学习训练的目标检测模型，包括以下训练步骤：

27、数据收集：收集包含目标对象的图像和相应的标注数据，其中，标注数据包括每个目标对象的边界框（bounding box）和相应的类别标签；

28、数据预处理：对标注数据进行预处理，得到训练目标检测模型的样本数据，其中，所述样本数据随机划分为训练数据集和验证数据集；

29、初始化模型：选择yolov4作为深度学习模型架构，初始化yolov4模型的权重，并定义yolov4模型的损失函数，其中，选择sgd优化器最小化yolov4模型的损失函数，并定义学习率策略；

30、模型训练：使用训练数据集对yolov4模型进行训练，其中通过反向传播和优化器来更新yolov4模型的权重；

31、验证数据集：使用验证数据集评估yolov4模型的性能，并对yolov4模型的超参数进行调整，其中，yolov4模型的超参数包括学习率、批量大小以及训练周期数；

32、模型保存：保存训练好的yolov4模型的权重和架构，并 使用训练好的yolov4模型执行目标检测任务。

33、作为本发明的进一步方案，基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中，包括以下步骤：

34、获取虚拟场景组件坐标：从预设的模拟资源库中选择虚拟场景组件以及虚拟场景组在虚拟环境中的原始坐标；

35、坐标系转换：将虚拟场景组件的原始坐标从虚拟环境的本地坐标系转换为地理坐标系，与无人机航拍位置信息相对应，其中，所述无人机航拍位置信息包括无人机航拍位置的经度、纬度、高度信息；

36、坐标平移和旋转：根据无人机航拍位置信息进行坐标平移和旋转变换，将虚拟场景组件的坐标与无人机航拍位置相对应；

37、加载到模拟交互拓扑网络：将经过坐标转换的虚拟场景组件的坐标加载到模拟交互拓扑网络中，模拟目标对象的位置。

38、作为本发明的进一步方案，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，包括以下步骤：

39、基于目标检测模型的输出，提取缺陷特征：缺陷的位置、形状、大小、颜色以及纹理信息；

40、获取预定义的缺陷模式，将目标检测模型提取的缺陷特征与预定义的缺陷模式中的规则、特征、参数进行比对，若提取的缺陷特征与任何一个预定义的缺陷模式相匹配，则确定存在缺陷，否则，认定目标表面没有缺陷，得到比对结果；

41、根据比对结果，确定目标表面是否存在缺陷以及缺陷的类型。

42、第二方面，本发明提供了一种基于轻量级边缘计算的无人机前端缺陷识别系统，包括：

43、数据获取模块，用于通过无人机进行航拍，捕捉目标区域的图像数据；

44、边缘计算单元，位于无人机上，用于接收和处理所述图像数据，包括增强和预处理，以及加载航拍位置和时间戳信息，生成目标的图像数据序列；

45、基于深度学习训练的目标检测模型，用于识别并标识所述图像数据序列中的目标类型和缺陷特征；

46、模拟资源库，用于存储虚拟场景组件；

47、坐标转换模块，基于无人机航拍的位置信息，将虚拟场景组件的坐标从虚拟环境的本地坐标系转换为地理坐标系，并加载到模拟交互拓扑网络中；

48、缺陷模式比对模块，用于将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；

49、缺陷报告生成模块，若存在缺陷，生成缺陷报告；

50、警报系统，若存在缺陷，发送警报。

51、作为本发明的进一步方案，所述无人机搭载高分辨率摄像头、gps定位系统以及时间戳记录设备，用于在航拍时捕捉高质量的图像数据，并记录航拍位置和时间戳信息。

52、作为本发明的进一步方案，所述边缘计算单元的预处理操作包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测，用于提高图像数据的质量和准确性。

53、本发明的又一方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任一项根据本发明的基于轻量级边缘计算的无人机前端缺陷识别方法。

54、本发明的再一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任一项根据本发明的基于轻量级边缘计算的无人机前端缺陷识别方法。

55、与现有技术相比较而言，本发明提出的一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统，具有以下有益效果：

56、1.高效的缺陷识别：本发明的基于轻量级边缘计算的无人机前端缺陷识别方法利用无人机进行航拍，捕捉高分辨率的图像数据，并通过边缘计算单元进行实时的图像增强和预处理。基于深度学习训练的目标检测模型能够高效地识别目标类型和缺陷特征，包括轮廓和表面特征，从而提高了缺陷识别的准确性和速度。

57、2.实时警报和记录：一旦检测到表面缺陷，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够立即生成缺陷报告并触发警报，使操作员能够及时采取必要的措施。同时，系统还记录了缺陷的位置和时间戳信息，为后续维修和分析提供了有用的数据。

58、3.多样性的预处理和分析：预处理操作包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测，有助于优化图像数据以便于深度学习模型的分析。此外，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够提取目标的轮廓和表面特征，包括角点、交叉点、纹理、亮度、颜色、凹凸和深度信息，从而提供更多的视觉信息用于缺陷识别。

59、4.灵活的模拟环境：通过虚拟场景组件和模拟资源库，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够模拟目标对象在不同环境条件下的情况。坐标转换模块能够将虚拟场景组件与无人机航拍位置相对应，实现虚拟场景的与现实世界的准确对应，从而提供了更真实的模拟环境。

60、5.自定义缺陷模式：本发明的基于轻量级边缘计算的无人机前端缺陷识别系统允许用户自定义预定义的缺陷模式，通过比对目标检测模型输出的缺陷特征与这些模式，用户能够更灵活地定制缺陷识别的规则和参数，适应不同的应用场景。

61、综上所述，本发明的基于轻量级边缘计算的无人机前端缺陷识别方法及系统提供了高效、实时、多样性和灵活性的缺陷识别解决方案，适用于各种需要视觉检测和缺陷识别的应用领域，如工业生产、基础设施维护等。

62、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。