一种数码管芯片溢胶缺陷识别方法

本发明属于器件缺陷检测领域，具体涉及一种数码管芯片溢胶缺陷识别方法。

背景技术：

1、当涉及到数码管的生产和质量控制过程时，缺陷检测是一个至关重要的环节。数码管是一种应用非常广泛的半导体显示器件，在其日常生产过程会由于种种因素导致生产的产品不合格，如亮度不均匀、溢胶、针脚倾斜等外观缺陷问题。目前，对于数码管的缺陷检测主要采用的是自动化加人工混合的形式进行外观缺陷检测，但是随着数码管生产自动化程度越来越高，现有的人工外观缺陷检测方案因工作时长和判断速度等方面的缺点已逐渐不能满足数码管生产行业的需求。基于机器视觉的产品检测技术具有连续工作时间长、判断速度快等优点，是人工检测的一种理想代替方案。

2、目前，基于机器视觉的外观检测研究中，没有直接针对数码管的，但是机器视觉在集成电路的字符检测、管脚检测和封装体检测中均有一定的进展。对于集成电路上的字符、文字等标识，机器视觉技术可以通过文本检测和识别算法，快速准确地检测和识别字符信息，这对于生产线上的质量控制和自动化过程至关重要。针对管脚检测，集成电路的管脚连接是电路与外部器件连接的重要部分，通过机器视觉技术，可以检测管脚的位置、形状和质量，确保电路的连接质量和稳定性。对于封装体检测，机器视觉技术可以对封装体进行缺陷检测，例如检测裂纹、气泡和异物等，以保障封装的完整性和可靠性。

3、在现有的数码管缺陷检测技术中，面临着一个共同的挑战，即缺陷种类的多样性和准确识别及分类不同缺陷的难度大。数码管作为一种复杂的电子产品，其可能存在的缺陷类型包括但不限于亮度不均匀、块状溢胶、点状溢胶、针脚倾斜、针脚粘胶等。首先，缺陷种类的多样性使得准确识别和分类不同缺陷变得更加困难。不同的缺陷可能具有不同的形态、规模和位置，且可能与产品本身的特性相互交织，这导致了对算法和模型的高要求。其次，数码管缺陷的检测受到环境条件的干扰。例如，光照、背景噪声等因素可能影响图像质量，进而影响缺陷的可见性和检测的准确性。因此，由于缺陷种类的多样性以及环境因素的影响，当前的数码管缺陷检测技术面临着较大的挑战。

技术实现思路

1、为解决上述技术问题，本发明提出一种数码管芯片溢胶缺陷识别方法，包括：

2、s1：在传送带运动状态下使用多个相机分别拍摄传送带上数码管芯片的各个面；

3、s2：将得到的图片进行数据增强和光照均衡处理；

4、s3：构建数码管芯片缺陷检测模型，通过光照均衡处理后的图片对数码管芯片缺陷检测模型进行训练；

5、s4：将待检测的数码管芯片图像进行预处理并送入到已训练好的模型中检测，最后获得识别检测结果。

6、优选的，在传送带运动状态下使用多个相机分别拍摄传送带上数码管芯片的各个面，包括：

7、通过4台相机分别拍摄在运动传送带上的器件的前、后、左、右四个面，对拍摄所得的器件图像使用labelimg软件对其进行标注，需要标注的目标包括：普通溢胶、点状溢胶、针脚黏胶、针脚歪斜、注胶孔、数码管芯片固有圆点，其中，注胶孔为数码管芯片产品固有部分，普通溢胶和点状溢胶均为溢胶缺陷，两者在图像上的特征有所不同，普通溢胶表现为块状溢胶，点状溢胶表现为点状，相比于普通溢胶更小且一般会更密集；部分型号的数码管存在和点状溢胶非常相似的固有圆点，为了区分两者，使用不同的标注做区分标注。

8、优选的，将拍下的图片进行数据增强，包括：

9、所有图片裁去竖直方向的上30％和下10％的部分，剩余的部分从水平方向上平分为两个图像，并对划分后的图片使用±20％以内的随机明暗变化、1％以内的随机噪声、10像素以内的随机模糊处理以进行数据增强。

10、优选的，对图片进行光照均衡处理，包括：

11、将数据增强后的图像输入深度卷积神经网络cnn进行特征提取，图像的亮度、对比度的光照特征值，根据光照特征值对图像进行光照补偿，将光照估计结果应用于原始图像，增加或减少亮度和对比度来校正光照差异。

12、优选的，构建数码管芯片缺陷检测模型，包括：

13、在原始yolov5模型的neck网络中增加针对点状溢胶缺陷的检测头，该组件包含上采样模块、拼接模块以及具有双重注意力机制的datc3模块，其中上采样模块对得到的相同尺寸的特征图通过拼接模块进行拼接，产生的特征图经过datc3模块处理后送入head网络进行检测；同时，在原始yolov5模型的骨干网络和neck网络之间加入对比学习网络，得到数码管芯片缺陷检测模型。

14、进一步的，所述具有双重注意力机制的datc3模块，包括：

15、在原始yolov5模型的c3模块中添加双重注意力机制at1和at2，所述at1主要用于处理不同通道的特征图，以帮助模型确定哪些特征图更重要；所述at2主要用于处理特征图上的空间区域，以帮助模型确定哪些特征区域更重要。

16、进一步的，所述对比学习网络，包括：一个共享的特征提取器和两个分支；

17、所述特征提取器共享yolov5的骨干网络，所述两个分支分别用于生成正样本和负样本，并分别通过共享的特征提取器生成相应的特征向量。

18、优选的，通过光照均衡处理后的图片对数码管芯片缺陷检测模型进行训练，包括：

19、将光照均衡处理后的图片输入数码管芯片缺陷检测模型，图片经过yolov5的骨干网络进行进行特征提取，得到相同尺寸的特征图，将特征图通过对比学习网络的两个分支生成正样本和负样本，并分别通过共享的特征提取器生成相应的特征向量，通过正负样本对应的特征向量计算正负样本之间的相似度，并构建正负样本之间的相似度的对比损失函数，通过最小化正负样本之间的相似度的对比损失函数提升模型生成正常芯片图像的特征图与缺陷芯片图像的特征图的能力，提取的相同尺寸的特征图通过yolov5的neck网络进行上采样，通过neck网络中增加的针对点状溢胶缺陷的检测头的上采样模块进行上采样，上采样后的特征图通过拼接模块进行拼接，并经过datc3模块处理后通过head网络后续的缺陷检测；重复上述多轮训练得到最优的数码管芯片缺陷检测模型。

20、进一步的，通过正负样本对应的特征向量计算正负样本之间的相似度，包括：

21、正样本之间的相似度：

22、

23、正样本与负样本之间的相似度：

24、

25、其中，si,j表示正样本xi与正样本xj之间的相似度；si,k表示正样本xi与负样本yk之间的相似度，t表示向量的转置。

26、进一步的，构建正负样本之间的相似度的对比损失函数，包括：

27、lcl＝max(0,m+si,k-si,j)

28、其中，lcl表示正负样本之间的相似度的对比损失函数；m表示用来控制正样本和负样本之间距离的预设边界值，如果正样本与负样本之间的余弦相似度加上m大于正样本之间的余弦相似度，则对比损失函数为0，否则计算两者之间的距离；si,j表示正样本xi与正样本xj之间的相似度；si,k表示正样本xi与负样本yk之间的相似度。

29、本发明的有益效果：

30、本发明通过对图像进行光照均衡处理，模型可以更好地捕捉细节并减少光照变化对检测结果的影响；其次在原有的yolov5检测模型基础上进行改进以构建数码管芯片缺陷检测模型，在原始yolov5模型的neck网络中增加针对点状溢胶缺陷的检测头；同时，在原始yolov5模型的骨干网络和neck网络之间加入对比学习网络，将yolov5模型的c3模块中增加了双重注意力机制，这个机制可以使模型更加聚焦于关键区域，提高对缺陷目标的准确性和鲁棒性，通过自适应地调整注意力权重，模型能够更好地辅捉缺陷目标的特征，并在检测和分类过程中更加精细地关注关键细节；最重要的是，检测模型具备对多种类型的缺陷进行检测和分类的能力，通过引入对比学习网络，它具有更强的泛化能力和鲁棒性，这使得模型在应用于实际生产环境时更加灵活和可靠。