基于图像分割的线束剥头测量与缺陷检测方法及系统

本发明属于深度学习和图像处理，具体涉及的是一种基于图像分割的线束剥头测量与缺陷检测方法及系统。

背景技术：

1、线束检测是新能源汽车电子行业生产流程中不可或缺的一部分，其目的是检测线束剥头的质量，减少缺陷率，提高生产效率和产品质量。线束剥头缺陷检测是线束生产中的一个重要环节。近年来，随着计算机视觉技术的发展，越来越多的研究关注如何使用计算机视觉技术来自动化新能源汽车上的线束剥头缺陷检测。新能源汽车线束剥头检测是指对新能源汽车电气线束中的剥头进行检测，以确保其质量和可靠性。线束剥头是连接线束和设备的关键部件，如果存在缺陷或不良，则会导致电气设备工作异常或损坏，严重时甚至可能引发事故。因此，对线束剥头进行检测具有重要意义。

2、当前线束检测研究的主要方向包括以下几个方面：基于图像处理和机器学习的线束检测方法。该方法主要利用图像处理技术，如边缘检测、形态学操作等，提取线束的特征，并使用机器学习算法进行分类和检测。这种方法简单易行，但对于复杂的线束结构和缺陷类型效果可能不佳。基于深度学习的线束检测方法。该方法主要利用深度神经网络对新能源汽车上的线束剥头图像进行处理和分析，能够学习到更复杂的特征表达。其中，基于卷积神经网络(cnn)的方法是目前主流的线束检测方法之一，可以通过端到端的训练过程实现自动化检测。同时，也有一些研究利用生成对抗网络(gan)等方法增强数据集，提高检测性能。基于实例分割的线束检测方法。该方法可以通过对线束中的不同部分进行定位和分类，进一步提高检测准确率。其中，基于mask r-cnn的实例分割方法应用较为广泛。基于图像处理和机器学习的新能源汽车线束剥头缺陷检测方法已经成为主流。该方法主要是利用图像处理技术，如边缘检测、形态学操作等，提取线束剥头的特征，并使用机器学习算法，如支持向量机(svm)、人工神经网络(ann)等，进行分类和缺陷检测。近年来，深度学习技术在线束剥头缺陷检测中的应用越来越广泛。尤其是基于实例分割的方法，可以有效地定位和分类线束剥头的不同部分，并检测其中的缺陷。另外，一些新兴的技术，如3d扫描和点云处理等，也在线束剥头缺陷检测中得到了应用。

3、总的来说，当前新能源汽车线束剥头检测研究中，基于深度学习和实例分割的方法是研究热点，已经在实际生产中得到广泛应用。未来的研究方向可能会更加关注多模态数据的融合和算法可解释性的提高，以便更好地适应实际生产环境的需求。

4、目前来看，上述技术仍然有一些不足之处。由于缺少新能源汽车线束剥头缺陷数据集，目前的数据集是有限的，无法涵盖所有缺陷类型和线束结构。这会对模型的训练和检测性能造成影响。目前大多数线束缺陷检测方法需要进行图像处理和特征提取等多个步骤，导致处理速度较慢。在新能源汽车的实际生产中，需要快速而准确地检测线束剥头的缺陷。目前的线束缺陷检测方法通常是针对特定线束结构和缺陷类型进行设计的，缺乏通用性。此外，目前的线束缺陷检测方法仍然需要人工标注和纠错，这会增加成本和时间，并且容易出现人为错误。由于深度学习等方法往往是黑盒模型，难以解释模型的决策过程和错误原因，这会限制模型在实际生产中的应用。

技术实现思路

1、针对现有的新能源汽车线束剥头检测技术存在的缺陷和问题，本发明提供一种基于图像分割的线束剥头测量与缺陷检测方法及系统，以解决传统线束缺陷检测方法存在的数据集缺乏、处理速度慢、通用性不足、人工干预多、模型解释性差等问题。

2、本发明解决其技术问题所采用的方案是：一种基于图像分割的线束剥头测量与缺陷检测方法，使用改进后的yolox目标检测网络对剥头进行检测，改进sobel边缘检测算子和u-net图像分割网络，对线束剥头的长度测量和缺陷检测，步骤如下。

3、第一步：对采集的图像进行预处理，包括将rgb图像进行灰度处理、图像去噪、增强和灰度化处理，以提高线束剥头结构和缺陷的辨识度，提高边缘检测和分割的准确性。

4、第二步：使用改进后的yolox小目标检测模型对剥头进行目标检测。在训练过程中，对模型迭代优化以提高检测准确率和速度。使用测试集对训练好的模型进行评估，检查检测精度和速度，并对模型进行优化，如调整超参数、增加数据集、改进算法等。将训练后的具有权重文件yolox小目标检测模型应用于实际线束剥头检测中，并进行实时检测和反馈。同时，对模型进行维护和更新，以保持其稳定性和准确性。

5、第三步：使用改经后的sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓，改经后的sobel边缘检测包括如下步骤。

6、(1)对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：

7、

8、式(1)中，x、y分别为当前点与目标点之间的水平和垂直距离，σ为标准差。

9、对式(1)高斯滤波器与原线束剥头图像进行卷积，公式为：

10、g(x，y)＝f(x，y)*h(x，y)            (2)；

11、式(2)中，f(x,y)为原剥头图像，g(x,y)为卷积后的剥头图像。

12、(2)对滤波后的图像应用sobel算子，分别对图像进行水平和垂直方向的差分，sobel算子用于检测图像中的边缘：

13、

14、

15、式(3)中，i表示输入灰度图像；第一个矩阵是水平方向上的sobel算子，第二个矩阵是垂直方向上的sobel算子，两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果，然后，这两个结果可以通过平方和开方的方式获得边缘强度，公式如下：

16、e＝sqrt(gx2+gy2)          (4)；

17、式(4)中，e表示边缘强度，gx和gy分别是水平和垂直方向上的差分结果。

18、(3)非极大值抑制，即在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零。

19、(4)用双阈值算法进行边缘检测；将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘，对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘。

20、第四步：图像分割，即将边缘检测得到的线束剥头边缘轮廓输入到u-net图像分割网络中，进行线束的分割，得到线束区域的掩膜。

21、第五步：线束长度测量，即通过分割得到的线束掩膜计算线束的长度。

22、第六步：缺陷检测，即将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜；使用特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。

23、其中，所述的u-net图像分割为改进后的u-net图像分割，在对线束剥头进行图像分割时，将边缘检测得到的线束剥头边缘轮廓输入到u-net图像分割网络中进行线束分割，步骤如下。

24、(1)准备数据集：准备带有线束剥头的图像以及相应的掩膜，掩膜中线束剥头区域为1，其余区域为0。

25、(2)数据预处理：将上一步边缘检测得到的线束剥头边缘轮廓转换为二值掩膜，其中线束剥头边缘的区域为1，其余区域为0；同时，需要对输入图像和掩膜进行统一的尺寸处理，以便于输入到u-net网络中。

26、(3)定义u-net网络：利用编码器提取图像的特征，利用解码器将特征映射回原始图像的尺寸，同时通过skip connection将编码器和解码器的特征图结合起来，包括根据具体的线束剥头的检测需求进行网络结构的调整和优化。

27、(4)训练u-net网络：使用准备好的数据集对u-net网络进行训练，以得到适合线束分割的模型，在训练过程中，需要选择合适的损失函数和优化器，并设置合理的学习率和批次大小的超参数。

28、(5)进行线束分割：使用训练好的u-net模型对边缘检测得到的线束剥头边缘轮廓进行分割，得到线束区域的掩膜，包括采用滑动窗口或全卷积方法对输入图像进行分割，得到分割结果。

29、(6)后处理：对分割结果进行后处理，去除小的噪点、填充空洞和进行形态学操作，以得到更加准确的线束分割结果。

30、进一步地，图像数据预处理过程中，采用公式(1)作为增强函数:

31、

32、式(5)中，yh(m，n)是nsct分解的高频子带系数，|yh(m)|max是其对应的m行系数绝对值的最大值，(m,n)是待增强图像的大小，且满足1<m<m，1<n<n，采用|yh(m)|max/|yh(m，n)|对灰度动态模型进行系数调节，实现对图像灰度级的动态范围的扩展。

33、采用nsct分解图像时，大幅度系数对应有用信号，小幅度系数对应噪声，将比阈值大的系数当成信号被增强，而比阈值小的系数当成噪声抑制，其关系为：

34、

35、式(6)中，y′(m，n)是增强后的高频子带系数，阈值σ为噪声方差，4/3是调节因子。

36、进一步地，图像增强过程包括：采用nsct分解接触网图像；利用公式(5)获得非线性增强函数；利用公式(6)处理yh(m，n)来获得增强后系数y′(m，n)；利用低频信号yl(m，n)和增强后系数y′(m，n)进行nsct逆变换，获得增强后图像。

37、进一步地，非极大值抑制过程中，梯度幅值非极大值抑制的步骤：

38、(1)计算每个像素点的梯度幅值和方向；

39、(2)确定像素点的梯度方向后，将其转化为四个可能的方向之一：0°、45°、90°和135°；

40、(3)对于每个像素点在梯度方向上的两个相邻像素点，比较当前像素点的梯度幅值与这两个相邻像素点的幅值，若当前像素点的幅值最大，则保留该像素点，否则将其幅值置为零；

41、(4)对于图像边缘的像素点，将边缘像素的幅值置为零；

42、(5)重复步骤(3)和(4)，对图像中的每个像素点进行处理，以得到一个经过非极大值抑制处理的图像。

43、进一步地，对线束剥头进行测量是通过分割得到的线束掩膜计算线束的长度，对线束进行测量，具体的方法和步骤如下：

44、(1)将线束掩膜转换为二值图像，将线束区域设为前景(白色)，非线束区域设为背景(黑色)。

45、(2)对前面步骤所得到的二值图像进行轮廓检测，得到线束的边界轮廓。

46、(3)对轮廓进行点集拟合，将轮廓上的点集拟合成一条直线，得到线束的近似拟合线。

47、(4)计算线束的长度：对于第(3)步中的点集拟合，使用最小二乘法进行拟合，最小二乘法是一种通过最小化拟合误差的方法，将轮廓上的点集拟合成一条直线，拟合的直线方程为：

48、y＝kx+b        (7)；

49、式(7)中，k为斜率，b为截距；通过最小二乘法可以求出k和b的值，从而得到线束的拟合直线。

50、对于第四步中的长度计算，利用直线段长度公式进行计算，即：

51、l＝sqrt((x2-x1)^2+(y2-y1)^2)        (8)；

52、式(8)中，(x1,y1)和(x2,y2)为直线的两个端点坐标，通过计算拟合直线的长度得到线束的长度，当线束存在弯曲等情况时，对线束的边界轮廓进行分段，然后对每一段进行拟合和长度计算，最后将所有段的长度加起来，得到线束的总长度。

53、进一步地，对线束剥头进行缺陷检测包括如下内容：在将线束掩膜与原始图像相减后，得到缺陷区域的掩膜；对于缺陷区域的进一步处理，使用形态学操作和图像滤波算法进行特征提取，包括对二值图像进行腐蚀、膨胀、开操作和闭操作处理；在线束剥头的缺陷检测中，利用腐蚀操作用来去除二值图像中的小孔洞或者细小的边缘分支，使得边缘更加精细，提取出缺陷区域的具体缺陷信息。

54、进一步地，对线束剥头进行缺陷检测包括如下步骤：

55、(1)定义结构元素，包括矩形、圆形或者其他形状，结构元素的大小和形状取决于需要处理的缺陷大小和形状；

56、(2)将结构元素放在缺陷掩膜上，对每个像素进行判断；如果结构元素内的所有像素都是前景(白色)，则该像素不变；如果结构元素内存在背景(黑色)像素，则将该像素置为背景；

57、(3)重复以上步骤，直到所有像素都被处理完毕，最终得到的结果是腐蚀后的缺陷掩膜信息。

58、进一步地，用双阈值算法进行边缘检测的公式如下：

59、设输入图像为i(x，y)，其梯度幅值为g(x，y)，高阈值为thigh，低阈值为tlow，则双阈值算法的公式为：

60、

61、式(9)中，强边缘strong edge、非边缘non-edge和弱边缘weak edge分别用不同的颜色表示，对于标记为弱边缘的像素点，继续使用非极大值抑制和连通性分析方法进一步处理，以得到更加准确的边缘检测结果。

62、一种基于图像分割的线束剥头测量与缺陷检测系统，包括gpu的计算机和高精度相机，高精度相机用于采集线束剥头的图像信息，gpu的计算机用于获取来自于高精度相机的图像信息，gpu的计算机同于运行上述方法对图像信息进行处理和检测。

63、本发方案解决了传统新能源汽车上的线束缺陷检测方法存在的数据集缺乏、处理速度慢、通用性不足、人工干预多、模型解释性差等问题。提高了对线束剥头测量和缺陷检测的准确性、通用性和处理速度，实现了更少的人工干预和更好的可解释性。此外，实例分割能够对缺陷进行像素级别的定位和分割，能够更精确地检测出线束剥头的缺陷，有效地提高了线束缺陷检测的性能。