一种用于包装生产线上包装件外观缺陷智能识别方法

本发明属于包装机械以及人工智能，具体涉及一种用于包装生产线上包装件外观缺陷智能识别方法。

背景技术：

1、大部分工业产品的外包装具有质量轻、强度高和价格低等优点，被广泛用于食品、农产品、化工产品等物料的包装中。然而，包装件的外观质量直接影响着包装效果，甚至对产品的质量和存储运输环节起着至关重要的作用。因此，在生产过程中对包装件外观进行在线缺陷检测具有重要的意义。传统的人工检测方法存在一些问题，包括误差率高、劳动量大和成本高等。近年来，智能化无损检测技术不断发展成熟，并迅速应用于各个领域。无损检测技术主要包括超声波检测、红外线检测和机器视觉检测等。在这些技术中，机器视觉检测以其高检测精度和低成本等优点，被广泛用于产品缺陷检测中。机器视觉检测技术利用高性能的相机和图像处理算法，能够快速、准确地分析和识别包装件外观的缺陷。通过图像采集和处理，系统可以检测出缺陷如破损、污渍、错位等，并及时做出判断和处理。相比于传统的人工检测方法，机器视觉检测具有更高的检测精度和效率，减少了人为因素的干扰，同时降低了劳动量和成本。所以，智能化无损检测技术在工业产品外包装缺陷检测中具有重要的应用价值。机器视觉检测作为一种高精度、低成本的技术，为产品质量控制和生产效率提升提供了有效的解决方案。随着工业4.0的不断推进，这种智能化的检测技术将在工业生产中发挥越来越重要的作用。

技术实现思路

1、本发明为了解决现有技术存在的不足，提供一种检测精度高、效率高、成本低的用于包装生产线上包装件外观缺陷智能识别方法。

2、为解决上述技术问题，本发明采用如下技术方案：一种用于包装生产线上包装件外观缺陷智能识别方法，包括以下步骤：在包装生产线上，经过包装机包装后的包装件通过传送带被输送到光电触发开关所检测的位置，光电触发开关将检测到有包装件到位需要进行检测的信号传输给图像识别处理以及系统运动控制模块；图像识别处理以及系统运动控制模块向图像采集模块发出启动工作的信号，图像采集模块采集包装件的外包装图像信号，并将图像信号传送至图像识别处理以及系统运动控制模块进行图像的识别和处理；图像识别处理以及系统运动控制模块内置图像识别处理算法，高效地分析采集的图像并比对预设的标准，通过对图像进行分析和比对，准确地检测出外包装的缺陷问题，如破损、污渍或错误的标；合格的包装件外观经传送带继续向前输送，若包装件的外包装有上述缺陷问题，在包装件被输送到剔除装置时，图像识别处理以及系统运动控制模块命令剔除装置动作，将有缺陷问题的包装件从生产线的传送带上剔除。

3、图像采集模块包括led条形背光源一个、光源模拟控制器一台和cmos工业相机；

4、图像识别处理以及系统运动控制模块内置的图像识别处理算法包括以下流程：图像预处理→图像灰度化→图像二值化→二值图像去噪→边缘检测→旋转校正与缩放校正→数据增强→视觉注意力训练→交叉验证→完成缺陷分类。

5、所述的图像预处理具体为：在生产线上对包装件的外包装进行缺陷检测时，使用coms工业相机采集图像，但是由于存在目标产品区域和背景区域导致产品的规格大小以及在图像中的位置不确定，为了对包装件的外包装的检测区域进行校正与定位裁剪，因此，需要从采集图像中提取出外包装需要检测的部位，并对其进行初步剪裁；

6、同时由于包装件在传送带上输送过程中处于持续运动状态，可能会出现倾斜并导致包装件与coms工业相机之间的物距发生变化；因此，需要对包装件进行倾斜校正和缩小物距误差的缩放校正；确保在后续的图像处理中，获取到准确且可靠的包装件的外包装图像数据。

7、所述的图像灰度化具体为：灰度图是一种二维矩阵图像，在该图像中，每个像素点都对应着一个灰度值，通常范围从黑色0到白色255；相比彩色图像，灰度图数据量较小，但信息描述基本保持一致；常用的灰度化有分量法、最大值法、平均值法和加权平均法；对于产品原始图像灰度化，采用加权平均法，如公式(1)所示：

8、gray＝0.2989*r+0.5870*g+0.1140*b                     (1)

9、式中：gray为转化后灰度值；r，g，b分别是红色、绿色、蓝色通道的灰度图像值；

10、当采集到包装件的图像时，它通常是一个3维的rgb彩色图像，由红色、绿色和蓝色三个通道组成，由于彩色图像的数据量较大且算法处理时间较长，为了减少数据量并加快处理速度，对图像进行灰度化处理；灰度化将彩色图像转化为灰度图像，仅保留一个通道的灰度信息，从而将图像的维度从3降低到1；这样一来，处理灰度图像所需的计算量和存储空间都大大减少。

11、所述的图像二值化具体为：二值图像是一种每个像素只有两个取值的图像，通常为黑色和白色；在处理产品图像时，经过灰度化处理后，可以使用某种阈值方法将像素值转换为二值(黑白)形式；这样的二值图像能更好地突出产品与背景的对比，便于后续的信息提取和分析；常用的图像二值化方法包括最大类间方差法和灰度直方图双峰阈值法；通过选择适当的阈值t，将目标和背景区域分开，将灰度图像转换为二值图像；这样可以更好地进行图像处理和特征提取，使得产品与背景区别更加明显，有利于后续的进一步处理和分析，如公式(2)所示：

12、

13、式中：t为灰度阈值；x,y为二维矩阵图像像素行列位置；bw(x,y)为二值化后的值(0或1)；gray(x,y)为灰度图像对应坐标(x,y)的灰度值；

14、对于包装件的灰度化图像，采用灰度直方图双峰阈值法进行二值化处理，它的基本原理是先通过直方图寻找图像的双峰分布，然后选择两个峰之间的波谷对应的灰度级作为阈值进行图像的二值化处理，具体步骤如下：

15、(1)计算图像的灰度直方图，统计每个灰度级别的像素数量，

16、(2)对直方图进行平滑处理，常用的方法是采用相邻灰度频数的平均值进行平滑，如公式(3)所示：gray(i)＝gray(i-1)+gray(i+1)/2     (3)

17、式中：gray(i)为灰度值为i的频数；gray(i-1)为灰度值为i-1的频数；gray(i+1)为灰度值为i+1的频数；

18、(3)在平滑后的直方图上寻找双峰，即找到两个明显的峰值；

19、(4)选择两个峰之间的波谷所对应的灰度级作为阈值t，将图像进行二值化处理。

20、所述的二值图像去噪具体步骤为：

21、1)标记各连通区域：采取8连通算法，通过连通区域分析，将二值图像中的像素按照连通性进行分组，形成不同的连通区域，将目标物体与噪声区域进行区分；通过标记连通区域，得到一些关于图像结构的基本信息，为后续处理提供基础；

22、2)计算每个连通区域的像素数量或面积，以了解它们的大小；这一步骤得出各个连通区域的重要性和特征；通常情况下，噪声区域的面积较小，而目标物体的面积较大；

23、3)找到面积最大的连通区域：通过比较各个连通区域的面积，确定哪个连通区域是主要的目标物体，而哪些是噪声，选择面积最大的连通区域可以减少噪声对图像处理的干扰，提高处理结果的准确性，如公式(4)所示：

24、max_area＝max(areas)                              (4)

25、其中，max_area表示最大连通区域面积，areas是包含所有连通区域面积的集合；

26、4)对结果进行孔洞填充：在面积最大的连通区域内部，可能存在一些孔洞或空洞，这些孔洞可能是由于噪声或其他因素导致的，为了消除这些孔洞，使用孔洞填充算法，将这些孔洞填充起来，使连通区域变得完整无缺；这一步进一步消除由于噪声而产生的断裂或空洞，提高图像的连续性和完整性。

27、边缘检测是一种常用的图像处理技术，用于提取图像中物体或区域之间的边界或轮廓信息；边缘通常表示图像亮度或色彩发生显著变化的位置；在实际应用中，canny算子是一种常用的边缘检测算法，因其在提取图像边缘时具有较好的性能，同时对噪声和干扰具有一定的抑制作用；所述的边缘检测的步骤具体如下：

28、a、高斯平滑，首先对输入图像进行高斯平滑处理，以减少噪声的影响；高斯平滑通过卷积输入图像与一个高斯核函数来实现，公式表示如(5)所示：

29、g(x，y)＝(1/2πσ2)*exp(-(x2+y2)/2σ2)                (5)

30、其中，g(x,y)表示高斯核函数在坐标(x,y)处的值，σ表示高斯核函数的标准差；

31、b、梯度计算，在经过高斯平滑后的图像上计算梯度信息；常用的梯度算子有sobel算子和prewitt算子，分别计算图像在水平和垂直方向上的梯度值；水平方向梯度gx＝(i(x+1,y)-i(x-1,y))/2，垂直方向梯度gy＝(i(x,y+1)-i(x,y-1))/2，其中，i(x,y)表示经过高斯平滑后的图像在坐标(x,y)处的灰度值；

32、c、非极大值抑制，在梯度图像上执行非极大值抑制，以细化边缘；对于每个像素点，比较其梯度方向上的两个相邻像素值，如果当前像素的梯度值最大，则保留，否则抑制；

33、d、双阈值处理，根据设定的低阈值和高阈值，将梯度图像中的像素分为强边缘、弱边缘和非边缘三类；强边缘像素被确定为最终边缘像素，非边缘像素被排除，而弱边缘像素则需要进一步判断；

34、e、边缘连接，对于弱边缘像素，如果其与强边缘像素相连，则将其确定为最终边缘像素；这一步骤可以通过像素的连通性或者其他约束条件来实现。

35、所述的旋转校正具体为：霍夫变换是一种拟合策略，它通过将图像空间中的坐标转换到参数空间，从而实现对直线和曲线的拟合；该变换方法能够有效地提取图像中的直线和曲线特征，对噪声和不完整的边缘也有一定的鲁棒性；直线用极坐标形式，公式如(6)所示：

36、ρ＝r*cosθ+c*sinθ，θ∈(0，π)                   (6)

37、式中：r，c分别是像素点行和列位置；θ是直线角度；ρ是从原点到直线的距离；

38、在霍夫变换中，图像空间中的每个点都可以表示为参数空间中的一条曲线或曲面；通过对图像中的像素进行遍历，计算其在参数空间中所对应的曲线或曲面的投票值，并选取投票值高于阈值的曲线或曲面作为最终的拟合结果；这样能够在参数空间中找到最佳拟合直线或曲线的参数，进而还原到图像空间，得到相应的特征线段或轮廓；最后通过对边缘检测图像进行霍夫变换，计算出最大角度即为倾斜角度，通过旋转变换得到旋转后图像；

39、所述的缩放校正根据产品外包装的一致性，计算宽度像素范围，通过比例计算统一到一致像素宽度。

40、样本数据像素行列应该保持一致，训练数据应该尽可能的增加，以便提高训练模型的准确率以及模型的泛化能力；因此，采用以下手段对图像数据集进行数据增强：

41、a.平移、旋转和镜像操作：对于经过旋转校正和缩放校正后的图像，可以进行平移、旋转和镜像等操作，将待检测物体置于图像中心位置，并扩充图像数据；这样可以模拟不同位置和角度下的物体出现情况，增加模型对不同视角的识别能力；

42、b.随机裁剪和镜像操作：对于待检测物体的图像，可以进行随机裁剪操作，生成不同大小和位置的图像块，并对裁剪后的图像块进行镜像等操作，进一步扩充图像数据；这样可以模拟物体在不同尺寸和位置上的出现情况，增加模型对多样化目标的识别能力。

43、所述的视觉注意力训练、所述的交叉验证和所述的完成缺陷的分类是基于visiontransformer的缺陷识别模型的构建；

44、vit_base_patch16_224_in21k是一种基于vision transformer(vit)架构的图像分类模型，在训练过程中使用了包含21,000个图像类别的大规模数据集进行预训练；预训练有助于模型学习到更丰富的特征表示，提高了其在各种图像分类任务上的性能；

45、对于图像数据而言，其数据格式为[h,w,c]，即长、宽及通道数，这种三维矩阵的形式非视觉transformer模块的输入形式，需要使用liner projection of flattenedpatches模块对图片的数据格式进行变换；首先将图片按照给定大小分成若干patches；以所构建的缺陷识别模型为例，训练数据的图片大小为128×128，故按照分成图片之后的大小为16×16来看，划分后得到(128/16)^2＝64个patches；然后将每一个patches映射到一维向量中，即[16×16×3]->[768]；在具体的代码实现中，直接使用一个卷积核大小为16×16，步长为16，卷积核个数为768的卷积层来实现；通过卷积使[128，128，3]->[8，8，768]，之后将前两个维度展平变为[64，768]，即为transformer encoder所需要的二维矩阵的形式，transformer encoder是将encoder block重复堆叠12次；在encoder block中，包含一个模块为mlp block；在输入transformer encoder之前，还需要分类编码class token和位置编码position embedding；分类编码和位置编码都是可训练的参数，其数据格式也为向量；通过liner projection of flattened patches和transformer encoder后输出的维度是不变的；由于只需要关注分类编码，即确定图片的类别，故只需要提取class token所对应的结果即可，即[1，768]；最终通过mlp head得到最终的分类结果；

46、为了适应缺陷分类这一特定的任务，需要对预训练模型进行微调；首先，冻结模型的初始几层，只对最后几层进行训练；以便更好地适应产品外包装数据集；这样做可以很好的保留模型在大规模数据集上学习到的通用特征，通过微调更适用于缺陷检测的任务；

47、在微调过程中，使用交叉验证来寻找最优的参数组合；交叉验证是一种评估模型性能和选择最佳参数的常用技术；将数据集划分为k折，k通常为5到10的自然数，并在每个折上进行训练和验证，对于每个折，选择其中的一组参数进行训练，在其他折上进行验证；通过多次迭代，可以得到每组参数的平均性能，得到最优的参数组合；

48、通过交叉验证，比较不同参数组合的性能，并选择在验证集上表现最佳的参数组合作为模型的最终参数；这样可以使模型在各种缺陷分类问题上拥有较强的泛化能力。

49、采用上述技术方案，本发明的创新核心在于设计一种新的图像识别处理算法，通过图像采集、缺陷分类、图像灰度化处理、图像二值化处理、二值图像去噪、边缘检测、旋转校正以及缩放校正、数据集扩充等步骤获得可供vision transformer训练的原始数据集。使用vision transformer对原始数据集进行训练，迁移学习交叉验证获得最优的参数组合，使得缺陷检测系统的识别准确率达到最高，从而满足实际检测的需要。

50、通过灰度化处理，可以更加高效地进行后续的图像处理和分析。灰度图像中的灰度值反映了像素的亮度信息，使得我们能够更集中地关注产品的表面特征、纹理细节或其他重要的视觉特征，非常适合产品的外包装缺陷检测。因此，灰度化处理在工业相机图像处理中具有重要的作用，能够提高图像处理的速度和准确性，进而为产品的外包装质量控制和缺陷检测提供有力支持。

51、对二值图像的去噪过程，有效地去除了噪声的干扰，突出了产品外包装图像数据的特征。为后续的更精确的分析提供了基础。

52、通过canny边缘检测算法能够有效地对图像进行边缘检测和轮廓提取，提取出图像的最优边缘。

53、在包装生产线上，经过包装机包装后的包装件被传送到光电触发开关的位置。工业相机开始采集外包装的图像信号，并将其传送至图像识别处理以及系统运动控制模块(计算机)进行图像处理。通过对图像进行分析和比对，系统能够准确地检测出外包装的缺陷问题。一旦识别出缺陷，识别结果将被传送至剔除装置(气缸模块)。气缸模块根据接收到的指令，迅速对有缺陷的产品进行剔除，以确保只有合格的产品能够继续流经生产线。而通过传送带，合格的产品将被顺利地传送到后续的工艺环节，以完成整个生产过程。

54、本发明智能检测技术具有高效、精确和可靠的特点，能够大大提升包装生产线的生产质量和效率。通过上述自动化系统的协作，包装生产线能够实现高效的包装过程，并确保只有符合质量标准的产品被送到下一个工艺环节。这种自动化检测和剔除缺陷的过程大大提高了生产线的效率和质量控制水平，减少了人工错误的可能性，并节省了人力资源和时间成本。相比传统的人工检测方法，该系统能够实现自动化的缺陷检测，减少了人力成本和人为误差的可能性。同时，通过采用视觉transformer，系统还能够不断学习和优化，提升缺陷识别的准确性和稳定性。