一种基于深度学习的螺母焊接检测识别方法与流程

本发明属于螺母焊接检测，具体涉及一种基于深度学习的螺母焊接检测识别方法。

背景技术：

1、工业制造一直是全球经济的重要组成部分，而螺母焊接作为连接不同零件的常用方法之一，在各种行业中都扮演着重要的角色。螺母焊接的质量直接关系到最终产品的性能和安全，因此对其进行可靠的质量检测至关重要。然而，螺母焊接异常通常会导致零件的性能下降、使用寿命缩短以及安全风险增加。

2、过去，螺母焊接异常的检测通常依赖于人工视觉检查或基于经验的方法，这些方法受到操作者技能和主观判断的限制，容易出现漏检和误检的情况。随着自动化和工业4.0的发展，我们迫切需要一种更可靠、高效的检测方法，以满足现代工业制造的需求。

3、现有技术中，基于单一的目标检测模型对工业零件中焊接区域进行位置检测，该方法仅仅适用于工业零件中只有一个焊接螺母的情景。在实际工业化场景中，一个工业零件上面基本上需要焊接多个螺母，同时由于该零件中螺母的外观特征极其相似，无法通过单一的目标检测模型进行焊接结果检测。

技术实现思路

1、为了克服上述技术的不足，本发明的目的是提供一种基于深度学习的螺母焊接检测识别方法。

2、本发明所采用的技术方案是：一种基于深度学习的螺母焊接检测识别方法，包括以下步骤：

3、采集待检测的工业零件图像，将待检测的工业零件图像输入至预先训练好的目标检测算法模型，获得目标检测结果，即训练生成以pt格式结尾的模型权重文件，其中检测出工业零件的位置信息[gx1,gy1,gx2,gy2]和工业零件上指定规格的螺母的位置信息[lx1,ly1,lx2,ly2]，且螺母的位置坐标应被包含在工业零件的位置坐标中；当工业零件为螺母遗漏焊接的情况时，在待检测的工业零件图像中不会出现相对应的螺母的位置信息，即该情况下只能检测出工业零件的位置信息[gx1,gy1,gx2,gy2]；当工业零件为螺母正常焊接或者螺母错误焊接的情况时，在待检测的工业零件图像中会检测出螺母的位置信息[lx1,ly1,lx2,ly2]和工业零件的位置信息[gx1,gy1,gx2,gy2]，此时将待检测的工业零件图像进行矫正使其角度与基准图片保持一致，然后设定工业零件的螺母正常焊接时的位置信息[tx1,ty1,tx2,ty2]范围，当[lx1,ly1,lx2,ly2]的位置位于[tx1,ty1,tx2,ty2]范围内时，结果判断为工业零件的螺母正常焊接，当[lx1,ly1,lx2,ly2]的位置不位于[tx1,ty1,tx2,ty2]范围内时，结果判断为工业零件的螺母错误焊接；

4、所述待检测的工业零件图像进行矫正的过程包括如下步骤：

5、s1.采集基准图像；

6、s2.特征点提取：对于每张基准图像，进行特征关键点的提取，从而生成一组特征点集，每个特征点都包括其在基准图像上的坐标和特征向量；

7、s3.特征匹配：针对基准图像集合中的每一张图像，提取其特征点集，并与该集合中的其他基准图像及其对应的特征点集进行比对，从而确定两个特征点集之间的对应关系，特征匹配使用特征向量之间的相似性度量来实现；

8、s4.筛选：使用le-ransac算法进行特征匹配的筛选，以排除错误匹配和外点；

9、s5.图像矫正：根据le-ransac算法估算出几何变换参数，应用变换到需要矫正的图像，从而使图像中的对象或特征得到校正；

10、s6.结果保存:保存矫正后的图像，以备后续分析或展示使用。

11、进一步的，所述s2步骤中，基准图像通过surf特征进行特征快速提取，生成surf特征点描述向量，使用hessian矩阵来检测图像中的特征点，hessian矩阵是一个包含二阶偏导数信息的矩阵；对于图像中的每个像素点，surf特征通过以下公式计算其hessian矩阵：

12、

13、其中，lxx(x,σ)、lxy(x,σ)和lyy(x,σ)和分别是高斯核函数g(σ)在图像中的二阶偏导数；surf特征对hessian矩阵中的行列式进行了近似计算以检测特征点，特征点的检测是通过确定hessian矩阵的主曲率来完成的，主曲率dh是hessian矩阵的行列式，通过以下公式进行计算:

14、dh＝lxx(x,σ)·lyy(x,σ)-(lxy(x,σ))2

15、surf特征使用dh来判断一个像素是否为特征点，如果dh大于3000，该像素点被认为是特征点。

16、进一步的，所述步骤s3中，对比过程包括确认不同图像中的两个特征点是否为对应点，当所述两个特征点分别出现在不同图像上且代表同一场景中的相同点，则所述两个特征点为图像间的对应点。

17、所述两个特征点的描述符分别为d1和d2，通过以下公式计算欧氏距离：

18、

19、其中，128表示描述符的维度。

20、进一步的，所述步骤s4中，le-ransac从输入匹配数据中随机选择一小部分数据点作为样本点[x11,x22,x33,......]，通常称为内点，即使用样本点来估计基本矩阵f，对于两个图像，设每个图像中的点分别用齐次坐标表示为[x,y,1]和[x',y',1]，基本矩阵f满足以下几何关系：

21、x′*f*x＝0

22、其中，f是一个3x3的矩阵，f描述了两个图像之间的投影关系；

23、f的表达式如下:

24、

25、f中的元素fij表示矩阵f的元素，其中i和j分别代表矩阵的行和列，f共有九个元素，但由于f是一个齐次矩阵，所以它有八个自由度，基于f使用最小二乘法常规进行参数估计,最小二乘法的计算公式如下：

26、l(a,b)＝∑yi-(a*xi+b)2

27、其中，σ表示对所有数据点的求和，(xi,yi)是观测数据点，基本矩阵f定义了两幅图像之间的几何约束，即x’tfx＝0，其中x和x’分别是两幅图像中的匹配点，投影误差计算公式为：

28、e＝|x’tfx|

29、如果投影误差小于设定阈值，匹配被认为是内点；所述设定阈值采用预先人工统计所有观测数据点投影误差的平均值作为该阈值的大小；通过内点测试的匹配会被保留作为内点，用于下一轮迭代；从而使得符合几何约束的匹配被用于估计。

30、进一步的，所述目标检测算法模型的训练过程包括以下步骤：

31、收集历史检测的工业零件图像并进行预处理获得训练图像，在训练图像中标注待检测螺母的位置信息和工业零件的位置信息后，构建训练数据集，所收集的历史检测的工业零件图像包括螺母错误焊接工业零件图像、螺母遗漏焊接工业零件图像和螺母正常焊接工业零件图像；利用训练数据集对目标检测算法模型进行训练，所述目标检测算法模型采用yolov7网络作为基础结构构建检测算法初步模型，设置检测算法初步模型的超参数，将yolov7原本的yolo预测头替换为transformer预测头，将wiou替换成ciou作为算法模型的损失函数，在backbone层中新增e-elan模块，获得检测算法改进模型。

32、进一步的，所述收集历史检测的工业零件图像的获得方法为将所有待检测的工业零件置于传送带上，输出到工业相机拍摄区域，工业相机固定拍摄角度进行实时拍摄，从而获得工业零件图像。

33、进一步的，所述目标检测算法模型的训练过程中，收集历史检测的工业零件图像并进行预处理后再对工业零件图像进行增强操作，所述增强操作包括图像缩放、图像裁剪、图像旋转、图像翻转、图像亮度调整、图像对比度调整、图像颜色调整、图像加噪声、图像边界框扰动、图像增加背景差异中的一种或几种，对训练图像进行数据扩充，从而构建训练数据集。

34、进一步的，所述wiou损失函数的计算公式为：

35、lwiouv1＝rwiouliou

36、

37、其中rwiou表示的是检测框的离散量和梯度分配的指数，其中x和y分别表示的是预测框的长和宽；xgt和ygt分别表示的是真实框的长、宽；wg和hg分别表示最小包围框的宽和高；liou表示的是真实标注框和预测框的交并比。

38、与现有技术相比，本发明具有以下有益效果：一种基于深度学习的螺母焊接检测识别方法，用于工业零件中螺母焊接异常的自动检测；本发明基于最新的计算机视觉技术和深度学习算法技术，能够高效地识别螺母焊接过程中的各种异常情况，包括但不限于错误焊接、遗漏焊接还是正常焊接；通过使用本发明可以大幅提高产品的质量和生产效率，降低成本，同时减少了人工操作的不确定性；本发明的应用范围非常广泛，不仅适用于各种工业零件的螺母焊接，还可用于自动化生产线中的实时质量监控，从而确保生产的稳定性和可靠性；本发明将有助于推动工业制造的数字化转型，提高产品质量，增加竞争力，同时也对在降低环境和人员健康风险方面产生积极影响。