一种基于深度学习的产品封装质量检测系统的制作方法

本发明实施例涉及产品质量检测领域，具体涉及一种基于深度学习的产品封装质量检测系统。

背景技术：

包装行业中，自动化机器在封装非固定形态(如粉末状)产品时，容易发生料包漏装、夹料、通包等缺陷故障，现有的检测方法除了人工视觉抽检外，还有使用机器视觉检测。人工抽检效率低下，机器视觉检测虽是自动化检测，但传统的机器视觉在算法层面仍无法很好的处理很多类型的缺陷。

被封装产品为非刚性，本身没有固定形状，在封装过程中由于下料速度、封口区域以及封装带静电、摩擦力等影响，会呈现出不规则形状。传统机器视觉中的机器学习算法，无论是模板比对、缺陷检测、图像分割或边缘检测，都没有足够的泛化能力来识别全部封装缺陷。被检测物品无法严格定位标注，由于封装料带呈现柔性特质，在制造过程中会出现水平偏移抖动，传统机器难以通过定位标注来锁定目标。同一台包装制造机器会生产不同品牌规格的产品，其包装规格存在差异，不同的边缘压痕、不同的表面印刷、厚度不一的材质均会导致使用传统机器视觉算法检测不能准确识别缺陷包装，针对不同型号的包装需要现场更换相对应的视觉识别算法，严重影响生产效率。

技术实现要素：

为此，本发明实施例提供一种基于深度学习的产品封装质量检测系统，以解决现有产品封装质量无法监控的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

在本发明的实施方式中，提供了一种基于深度学习的产品封装质量检测系统，包括：深度学习目标检测算法模块预训练单元和生产检测单元，所述深度学习目标检测算法模块预训练单元包括：深度学习目标检测训练用数据集生成模块和深度学习目标检测算法训练模块，所述生产检测单元包括：深度学习目标检测模块和人机交互模块，所述深度学习目标检测训练用数据集生成模块导入用于深度学习目标检测算法模块训练的各种故障类型图像，并生成算法模块训练所需的格式化数据集，所述深度学习目标检测算法训练模块以格式化数据集为输入，进行迁移学习后输出深度学习目标检测算法，所述深度学习目标检测模块输入现场采集的原始数据图像，通过深度学习目标检测算法计算输出带标注框的分析图像，所述人机交互模块实现操作人员输入待分析的原始数据图像，并根据分析输出的结果对产品封装情况进行处理。

优选地，所述深度学习目标检测训练用数据集生成模块导入用于深度学习目标检测算法模块训练的各种故障类型图像，并对每张图中的数故障类型区域进行标注，最终生成算法模块训练所需的格式化数据集，格式挂数据集作为深度学习目标检测算法训练模块的输入。

优选地，所述深度学习目标检测训练用数据集生成模块工作流程为：

收集多种类型的已知故障封装图片，每个类型选取500-1000张，每个类型图片的60％放入训练目录，20％放入校验目录，20％放入预测推理目录；

利用深度学习目标检测训练用数据集生成模块对每一张图片上的缺陷区域进行打框标注，并自动生成对应的xml文件；

利用深度学习目标检测训练用数据集生成模块将xml文件生成voc或tfrecords数据集格式。

优选地，所述深度学习目标检测算法训练模块以深度学习目标检测训练用数据集生成模块输出的格式化数据集为输入，用预训练的深度学习目标检测网络做迁移学习，通过优化网络调整参数，最终输出可以重复利用的深度学习目标检测算法。

优选地，所述深度学习目标检测算法训练模块工作流程为：

在计算机安装深度学习目标检测算法训练模块网络依赖环境；

修改网络训练参数配置，调整预训练网络信息、训练步长和速率；

导入预训练目标识别网络集权重；

构建目标识别网络模型，定义损失函数；

启动会话，导入深度学习目标检测训练用数据集生成模块生成的数据集，在预定义的轮次内迭代调优，输出一组最优权重即深度学习目标检测算法。

优选地，所述深度学习目标检测模块以实际现场采集的原始数据图像为输入，利用内置的图像预处理器进行过滤后，导入深度学习目标检测算法训练模块输出的深度学习目标检测算法，并对每一张图片所包含的故障类别进行批量自动分析标注，输出带标注框的分析后的图像。

优选地，所述人机交互模块通过操作人员从设备或电脑存储器上读取待分析的原始数据图像、导入事先训练并优化调参的深度学习目标检测算法，命令深度学习目标检测模块执行图像分类标注操作，并在人机交互模块上图形化显示深度学习目标检测模块的输出结果，在输出结果为响应的故障或异常时，在人机交互模块上动态提示操作员采取相关措施进行处理。

本发明的实施方式具有如下优点：

本发明实施例公开了一种基于深度学习的产品封装质量检测系统，通过深度学习目标检测训练用数据集生成模块对大量的产品封装故障类型图像生成格式化数据集，利用深度学习目标检测算法训练模块进行迁移学习后输出深度学习目标检测算法，通过深度学习目标检测模块输入现场采集的原始数据图像，通过深度学习目标检测算法计算输出带标注框的分析图像，人机交互模块根据分析输出的结果对产品封装情况进行处理，对粉末状产品包装出现夹料、通包、空包的现象能够准确识别，不受实际产品外包装颜色和印刷字的影响，及时剔除残缺的包装，提升识别效率和准确率，保证产品包装的良品率。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明的实施例提供的一种基于深度学习的产品封装质量检测系统的连接示意图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例

参考图1，本实施例公开了一种基于深度学习的产品封装质量检测系统，在粉末状产品包装行业，经常出现包装夹料、空包、通包的现象，干燥剂的包装袋为半透光材质，现场使用红外背板光源打光，高速工业相机负责采集图像并传送至工业电脑主机，主机运行人机界面和目标检测模块。当识别出缺陷包装时，主机程序发送预设指令给工业plc，操作生产线做抛弃缺陷料包的动作，缺陷包装的检测决定了成品的良品率。

所述基于深度学习的产品封装质量检测系统包括深度学习目标检测算法模块预训练单元和生产检测单元，所述深度学习目标检测算法模块预训练单元包括：深度学习目标检测训练用数据集生成模块和深度学习目标检测算法训练模块，所述生产检测单元包括：深度学习目标检测模块和人机交互模块。

所述深度学习目标检测训练用数据集生成模块导入用于深度学习目标检测算法模块训练的各种故障类型图像，并对每张图中的数故障类型区域进行标注，最终生成算法模块训练所需的格式化数据集，格式挂数据集作为深度学习目标检测算法训练模块的输入；所述深度学习目标检测训练用数据集生成模块工作流程为：

收集多种类型的已知故障封装图片，每个类型选取500-1000张，每个类型图片的60％放入训练目录，20％放入校验目录，20％放入预测推理目录；

利用深度学习目标检测训练用数据集生成模块对每一张图片上的缺陷区域进行打框标注，并自动生成对应的xml文件，xml为可扩展的标记性语言，属于标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言，用来传输和存储数据；

利用深度学习目标检测训练用数据集生成模块将xml文件生成voc或tfrecords数据集格式。

所述深度学习目标检测算法训练模块以深度学习目标检测训练用数据集生成模块输出的格式化数据集为输入，用预训练的深度学习目标检测网络做迁移学习，通过优化网络调整参数，最终输出可以重复利用的深度学习目标检测算法；

所述深度学习目标检测算法训练模块工作流程为：

在计算机安装深度学习目标检测算法训练模块网络依赖环境；

修改网络训练参数配置，调整预训练网络信息、训练步长和速率；

导入预训练目标识别网络集权重；

构建目标识别网络模型，定义损失函数；

启动会话，导入深度学习目标检测训练用数据集生成模块生成的数据集，在预定义的轮次内迭代调优，输出一组最优权重即深度学习目标检测算法。

迁移学习是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。它放宽了传统机器学习中的两个基本假设，目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。迁移学习广泛存在于人类的活动中，两个不同的领域共享的因素越多，迁移学习就越容易。

所述深度学习目标检测模块以实际现场采集的原始数据图像为输入，利用内置的图像预处理器进行过滤后，导入深度学习目标检测算法训练模块输出的深度学习目标检测算法，并对每一张图片所包含的故障类别进行批量自动分析标注，输出带标注框的分析后的图像。

所述人机交互模块通过操作人员从设备或电脑存储器上读取待分析的原始数据图像、导入事先训练并优化调参的深度学习目标检测算法，命令深度学习目标检测模块执行图像分类标注操作，并在人机交互模块上图形化显示深度学习目标检测模块的输出结果，在输出结果为响应的故障或异常时，在人机交互模块上动态提示操作员采取相关措施进行处理。

基于深度学习的产品封装质量检测系统能够准确识别存在缺陷的包装，并在识别的过程中不断迭代学习，提升准确率，识别出缺陷包装后工业plc控制生产线的机械手臂对缺陷包装进行抛除，提升产品的良品率。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。