一种基于YOLOv5检测飞机蒙皮缺陷和分类的方法

本发明涉及飞机蒙皮缺陷，尤其涉及一种基于yolov5检测飞机蒙皮缺陷和分类的方法。

背景技术：

1、飞机蒙皮是位于飞机结构框架外部的覆盖层，不仅构成飞机的外形和保护内部组件，还对飞机的空气动力学性能、保护、隐身性能、维护性、重量和外观质量等方面具有关键影响。它的设计和材料选择需要平衡多个因素，以确保飞机在各种操作条件下表现出色。

2、当飞机蒙皮出现损伤时，会导致相关部位的强度下降，进而影响到飞机的气动性能，最终危及飞机的飞行安全。飞机蒙皮损伤有裂纹，腐蚀和撞击这几种类型。当出现损伤时，可以通过无人机或3d扫描仪对飞机损伤进行检查，并通过视频传输给维修人员，维修人员可以通过视频进行判断飞机蒙皮损伤属于哪一种类型。为了减少维修人员的误判，提高检测准确性并能实时指导工人对损伤区域进行修补，从而提出一种目标检测算法。

3、主要的目标检测算法可以分为两类：one-stage与two-stage检测算法。two-stage检测算法包括faster-r cnn和mask-r cnn可以做到精确分类，检测精度较高，但是在检测速度上较慢。one-stage检测算法包括yolo、ssd算法，其优点是检测速度快，但是精度较低。yolov5算法是yolo算法的第五代，它不仅有着较快的检测速度，而且还拥有着较高的检测精度，但是当物体过于密集时它的效果较差。

4、因此设计一种优化yolov5算法模型，提升模型在检测小物体的能力和当物体过于密集时，能够精确的定位到所检测的物体，显得十分有必要。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于yolov5检测飞机蒙皮缺陷和分类的方法，解决了传统方法在检测小物体的能力和当物体过于密集时效果较差问题；本发明基于深度信息的插值方法，确保了插值过程中对近距离和远距离物体的适当考虑，从而生成了更准确、更真实的多视角插值图像，并通过对yolov5模型进行优化，在骨干网络backbone层引入新的注意力机制，能够将横向和纵向的空间位置信息编码到通道注意力中，使得移动网络能够关注大范围的位置信息获取具有精准位置信息的远程空间交互且不会带来过多的计算量，以及对全局平均池化进行分解，提高了对小模型的检测精度与网络对通道的关注，提升模型在检测小物体的能力和当物体过于密集时，能够精确的定位到所检测的物体，应用于飞机蒙皮损伤检测中，可以实时识别飞机蒙皮不同的损伤。

2、为解决上述技术问题，本发明提供了如下技术方案：一种基于yolov5检测飞机蒙皮缺陷和分类的方法，包括以下步骤：

3、s1、采集飞机蒙皮损伤原始图像，对所获取到的图像根据不同的损伤进行分类，再将分类好的图片分为训练集和测试集；

4、s2、将所收集到的不同角度的训练集的损伤图片利用双线性插值算法进行信息插值，进而获取优化后的图像，使得训练集数据增强；

5、s3、对原yolov5模型进行优化，获得优化后的yolov5模型；

6、s4、将所采集到的增强后的训练集数据输入优化后的yolov5模型中，得到训练后的权重文件；

7、s5、将训练好的权重文件应用于测试集的图片检测，并通过pyside6可视化检测结果。

8、进一步地，所述s1具体包括：对所述飞机蒙皮损伤原始图像进行分类，分类成腐蚀、撞击、裂纹的损伤图像，并对此标注锚框，并用txt文件将类别的顺序进行记录，标定锚框使用labelimg目标检测标注工具进行标注。

9、进一步地，在步骤s2中，具体过程包括以下步骤：

10、s21、首先在x方向进行两次插值，得到两次插值后的像素值r1、r2，然后在y方向上进行一次插值，得到y方向上的像素值；其中在x方向上两次插值的公式为：

11、；

12、；

13、其中，q11(x1,y1)，q12(x1,y2)，q21(x2,y1)，q22(x2,y2)为x、y平面直角坐标系下的四个点；

14、s22、在y方向上进行一次插值，得到y方向上的像素值，y方向上的插值公式为：

15、；

16、s23、将上述s21中的两式带入s22中的公式可得高质量、高分辨率的多视角插值图像：

17、。

18、进一步地，在步骤s3中，所述对原yolov5模型进行优化，具体过程包括以下步骤：

19、s31、在backbone骨干网络层引入新的注意力机制ca，新的注意力机制ca将x和y方向的输入训练集分为两个独立方向，将横向和纵向的空间位置信息编码到通道注意力中，使用池化核1,w和h,1来编码横向和纵向特征，因此，高度h的第c维特征的输出为：；

20、同理，宽度w的第c维特征的输出为：；

21、其中，为特征图的高度；为特征图的宽度； x c为中间特征；，，，为已知的坐标。

22、s32、上述两式从横向和纵向不同的方向集成特征，输出一对方向可知的特征图，通过concatenate函数将特征图连接起来获得连接后的特征图 f 1，并使用卷积变化函数对其进行操作，从而获得包含有横向和纵向空间信息的中间特征图，其公式如下所示：

23、；

24、其中，为缩减因子；

25、s33、沿着空间维度，将x，y方向的信息分别编码到不同的注意力图中，对包含有横向和纵向空间信息的中间特征图进行分割操作，分成两个方向上的张量fh和fw，然后通过sigmoid激活函数得到最后的高度注意力权重和宽度注意力权重 g h和 g w，其表达式如下：

26、；

27、；

28、其中，，为1*1的卷积核，为sigmoid激活函数；

29、s34、ca注意力机制公式可以表示成：。

30、进一步地，在步骤s3中，所述对原yolov5模型进行优化，还包括：使用diou-nms算法替换原模型中的nms算法，diou-nms不仅考虑iou，还会考虑两个框中心之间的距离，若两个框之间的距离较大，此时该算法会认为这是两个物体的框，从而不会过滤掉，对于模型中nms的优化，只需要将原模型中的nms中的iou替换成diou，其公式如下所示：

31、；

32、其中，，分别代表了预测框和真实框的中心点， ρ代表的是计算两个中心点间的欧氏距离，代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；diou-nms的公式如下所示：

33、；

34、其中，si是分类置信度； m表示预测框中得分更高的边界框；ε是diou-nms的阈值，是遍历各个框跟置信度高的重合情况；rdiou为惩罚公式。

35、进一步地，在步骤s3中，所述对原yolov5模型进行优化，还包括：更换原模型中的损失函数为ciou，该损失函数在diou的基础上增加了检测尺度的loss损失函数，增加了长和宽的loss损失函数，考虑到边界框的中心距离，宽度和高度的差异，使得目标框回归更加稳定，其公式如下所示：

36、；

37、；

38、；

39、；

40、其中，a，b可以看为两个集合；为权重函数；用来度量长宽比的相似性。

41、进一步地，所述s4具体包括：将所述优化后的yolov5模型放入到配置好的python环境中，运用增强数据后的训练集中所标记好的图片对优化后的yolov5模型进行训练，并且通过gpu加速训练该模型。

42、借由上述技术方案，本发明提供了一种基于yolov5检测飞机蒙皮缺陷和分类的方法，至少具备以下有益效果：

43、本发明基于深度信息的插值方法，确保了插值过程中对近距离和远距离物体的适当考虑，从而生成了更准确、更真实的多视角插值图像，从而使得训练集数据增强；将所采集到的增强后的训练集数据通过对yolov5模型进行优化，在骨干网络backbone层引入新的注意力机制，能够将横向和纵向的空间位置信息编码到通道注意力中，使得移动网络能够关注大范围的位置信息获取具有精准位置信息的远程空间交互且不会带来过多的计算量，以及对全局平均池化进行分解，提高了对小模型的检测精度与网络对通道的关注，提升模型在检测小物体的能力和当物体过于密集时，能够精确的定位到所检测的物体，应用于飞机蒙皮损伤检测中，可以实时识别飞机蒙皮不同的损伤，该方法能够提高检测速度，同时还能拥有着较高的检测精度，并且优化了模型在物体过于密集时效果较差的问题。