一种基于深度学习的多列包装机封口缺陷检测方法与流程

本发明涉及视觉检测，具体讲是一种基于深度学习的多列包装机封口缺陷检测方法。

背景技术：

1、多列包装机是一种常用的包装设备，然而，其在封口过程中可能存在夹料等缺陷，导致造成产品损坏和泄漏。这些缺陷通常很难肉眼检测，因此有必要开发一种自动化的技术来检测这些封口缺陷。

2、现有技术中，多列包装机干燥剂封口缺陷的检测方法主要有人工检测和机械检测两种，其中人工检测效率低且容易出错。而机械检测设备较为复杂，受到环境干扰的影响较大，对物料的尺寸和形状的要求较高，检测精度受到限制，而且操作较为困难。因此，需要提供一种新的、更加有效的方法和装置来检测多列包装机包装产品的封口缺陷。

3、近年来，随着计算机视觉技术的发展，越来越多的研究人员开始使用计算机视觉来解决传统工业生产中的各种问题。该技术主要依赖于图像采集和图像处理技术。通常会使用一个或多个摄像头来捕捉包装过程中封口的图像。这些图像会被传递给计算机进行分析，计算机会使用图像处理算法来分析图像的特征，如密度、颜色、形状等，从而检测出是否存在缺陷。这里一般会先来识别封口区域，如使用边缘检测、轮廓检测等算法，来分离封口部分与背景部分，然后进行缺陷检测。如：对封口缝线是否有破损，对于封口是否完整等进行分析。然而，在实际应用中，也存在一些问题需要解决。一个是对于不同的缺陷类型进行分类的困难，还有就是对于复杂背景下的封口缺陷检测，特别是针对颜色相似，形状相似，缺陷细微的封口缺陷检测，需要更先进的算法来解决。

4、深度学习技术则具有较强的鲁棒性，其以通过大量数据和计算能力来学习识别模式，并在训练过程中不断优化模型，较为复杂的环境中进行检测和分类，同时也具有较高的准确率。

技术实现思路

1、针对背景技术中存在的技术缺陷，本发明提出一种基于深度学习的多列包装机封口缺陷检测方法，解决了上述技术问题以及满足了实际需求，具体的技术方案如下所示：

2、一种基于深度学习的多列包装机封口缺陷检测方法，该方法包括如下步骤：

3、步骤1：产品图像获取：通过工业ccd相机获取若干列产品的产品图像；

4、步骤2：产品区域分割：通过传统图像处理方法将同一张所述产品图像中的若干列产品单独分割为单列产品图像；

5、步骤3：封口位置坐标提取：采用blob分析的方法提取所述单列产品图像中产品封口的封口坐标；

6、步骤4：建立样本库：搜集缺陷图片，根据提取到的所述封口坐标裁切出封口区域并标注缺陷位置；

7、步骤5：离线训练：构建轻量级语义分割网络，然后将所述样本库中的缺陷图片输入到轻量级语义分割网络进行离线训练；

8、步骤6：产品检测：使用所述离线训练的模型进行产品的在线检测，并和剔除设备通信剔除缺陷产品。

9、进一步地，所述步骤1中产品图像包括以下步骤：通过所述工业ccd相机对生产线上的若干列并排运输的产品进行拍照获得产品图像，所述工业ccd相机设有工业光源。

10、进一步地，所述步骤2中产品区域分割包括以下步骤：将所述步骤1中获得的产品图像通过传统的图像处理方法分割成若干个具有单个产品的单列产品图像。

11、进一步地，所述步骤3中封口位置坐标提取包括以下步骤：通过所述blob分析的方法，将前景/背景分离后的所述单列产品图像中产品封口进行连通域提取和标记，得到所述产品封口的封口坐标。

12、进一步地，所述步骤4中建立样本库包括以下步骤：

13、步骤41：选取不同类型的缺陷样本作为训练样本库；

14、步骤42：通过所述封口坐标裁剪出封口区域图片并进行缺陷标注得到缺陷图片。

15、进一步地，所述步骤5中构建轻量级语义分割网络的设计包括以下步骤：

16、步骤51：将所述轻量级语义分割网络划分为空间分支和上下文信息分支，所述空间分支用于提取图像中丰富的空间信息需求，所述上下文信息分支用于解决感受野问题和提取上下文语义信息；

17、步骤52：所述空间分支包含三层且每层包含一个步幅（stride）为 2 的卷积、批归一化和 relu激活函数；

18、步骤53：所述上下文信息分支采用轻量级网络xception快速下采样特征图以获得大感受野并编码高层语义的语境信息，所述上下文信息分支再在模型末端添加一个全局平均池化，所述上下文信息分支通过全局语境信息提供一个最大感受野，最后所述上下文信息分支通过u形结构融合最后两个阶段的特征。

19、步骤54：所述特征融合模块首先将空间路径和上下文路径的输出特征进行拼接得到连接特征，然后利用所述批归一化来平衡连接特征的尺度，再将所述连接特征集中到一个特征向量中，并计算一个类似于senet的权重向量，然后将所述权重向量对连接特征进行重新加权。

20、步骤55：所述轻量级语义分割网络采用一个主损失函数来监督整个网络的输出：

21、

22、此外，所述轻量级语义分割网络还通过两个辅助损失函数来监督空间分支和上下文信息分支的输出，通过参数α 来调节所述主损失函数与辅助损失函数的权重：

23、。

24、进一步地，所述步骤6中产品检测包括以下步骤：将训练得到的所述轻量级语义分割网络部署到在线检测设备并和剔除机构通信并在生产过程中执行在线检测，将所述检测设备检测到的检测结果发送到所述剔除设备，所述剔除设备对封口缺陷产品进行自动剔除。

25、一种基于深度学习的多列包装机封口缺陷检测装置，采集模块包括工业ccd相机和工业光源，用于采集产品图像和对图像进行补光；

26、检测模块包括检测设备和剔除设备，用于在线检测产品和剔除缺陷产品；

27、处理模块，用于分割处理产品图像、提取封口坐标、建立样本库、离线训练和控制采集模块和检测模块。

28、一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述方法步骤。

29、本发明具有的有益效果在于：提供了一种使用深度学习技术检测多列包装机封口缺陷的方法，可以有效地帮助企业提高生产质量，降低损失。该方法可以自动化地分析图像数据，避免人工判断的误差，并且可以实时监测生产过程中的封口缺陷。

技术特征：

1.一种基于深度学习的多列包装机封口缺陷检测方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤1中产品图像包括以下步骤：通过所述工业ccd相机对生产线上的若干列并排运输的产品进行拍照获得产品图像，所述工业ccd相机设有工业光源。

3.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤2中产品区域分割包括以下步骤：将所述步骤1中获得的产品图像通过传统的图像处理方法分割成若干个具有单个产品的单列产品图像。

4.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤3中封口位置坐标提取包括以下步骤：通过所述blob分析的方法，将前景/背景分离后的所述单列产品图像中产品封口进行连通域提取和标记，得到所述产品封口的封口坐标。

5.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤4中建立样本库包括以下步骤：

6.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤5中构建轻量级语义分割网络的设计包括以下步骤：

7.根据权利要求1所述的基于深度学习的多列包装机封口缺陷检测方法，其特征在于，所述步骤6中产品检测包括以下步骤：将训练得到的所述轻量级语义分割网络部署到在线检测设备并和剔除机构通信并在生产过程中执行在线检测，将所述检测设备检测到的检测结果发送到所述剔除设备，所述剔除设备对封口缺陷产品进行自动剔除。

8.一种基于深度学习的多列包装机封口缺陷检测装置，其特征在于，采集模块包括工业ccd相机和工业光源，用于采集产品图像和对图像进行补光；

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。

技术总结
本发明公开了一种基于深度学习的多列包装机封口缺陷检测方法，该方法检测内容为使用多列包装机包装产品的封口缺陷。包括以下步骤：步骤1产品图像获取：通过工业CCD相机获取产品图像；步骤2产品区域分割：通过传统图像处理方法将产品图像分割为单列产品图像；步骤3封口位置坐标提取：采用blob分析提取单列产品图像封口坐标；步骤4建立样本库：搜集缺陷图片，根据封口坐标裁切并标注缺陷位置；步骤5离线训练：构建轻量级语义分割网络并进行离线训练；步骤6产品检测：使用离线训练模型进行在线检测并剔除缺陷产品。本发明能够替代工厂的人工检测方式，无论检测精度还是检测速度都优于人工，同时提高了检测效率和质量，节省了人工成本。

技术研发人员：郑大军,秦文
受保护的技术使用者：深圳市霍克视觉科技有限公司
技术研发日：
技术公布日：2024/1/13