一种烟箱外观缺陷的智能检测方法与流程

本发明涉及目标检测，具体涉及一种烟箱外观缺陷的智能检测方法。

背景技术：

1、条烟装箱后在运输和存储的过程中，烟箱的外观可能会出现变形、破损和污渍等缺陷，当外烟箱观的缺陷较为严重时将会对内部卷烟的质量产生影响，而销售出现质量问题的卷烟会使烟草企业的品质信誉严重受损，不利于企业在市场中竞争。同时，处理因烟箱观的缺陷而出现质量问题的产品将会增加企业的生产成本和劳动力投入，影响企业的经济效益。因此，对运输和存储过程中烟箱外观出现的缺陷进行监控，对保证产品的质量具有重要意义。随着科技的不断发展，越来越多的企业都在产品生产、加工和运输等过程实现了智能化。并且随着计算机视觉技术的不断发展，使用深度学习的方法对烟箱外观出现缺陷进行实时监控备受期待。通过这种智能化的烟箱外观缺陷检测方式，一方面能够及时发现烟箱外观在运输和存储过程中出现的缺陷问题，并反馈给企业相关工作人员做出相应的对策。另一方面能够发现烟箱外观出现缺陷的环节以及缺陷的程度，让企业员工能够有效的进行问题的排查。总之，利用深度学习的方法实现烟箱外观缺陷的检测，是一种具有高效率和高准确率的智能化手段，为烟草企业实现运输和存储环节产品质量的把控。

2、现行的方案存在以下几个不足：

3、一、一些烟草企业在进行烟箱外观缺陷检测时，仍然采用人工目测的方式在产品的部分运输阶段和存储阶段进行监控，但这无法做到实时以及全过程的监控；若使烟箱外观出现缺陷的区域在人工的监控之外，就需要大量的时间进行排查，从而增加了人工成本，也无法及时的做出应对策略。

4、二、由于人存在主观判断的差异，不同人对于烟箱外观缺陷的严重程度可能有不同的标准和判断，并且长时间的工作会让人产生视觉疲劳，会使判断错误的概率大大增加，当货物较多时也无法做到快速和全面的检测。

技术实现思路

1、本发明的目的在于提供一种烟箱外观缺陷的智能检测方法，能有效地利用目标检测技术对烟箱外观存在的变形、破损和污渍缺陷进行检测。

2、为解决上述的技术问题，本发明采用以下技术方案：

3、一种烟箱外观缺陷的智能检测方法，包括：

4、利用拍摄设备收集烟箱外观有缺陷的图像数据集；

5、利用人为增加外观缺陷以及随机裁剪、水平翻转数据预处理方式扩充烟箱缺陷外观的图像数据集；

6、利用labelimg对烟箱外观数据集中的缺陷部位进行标注；

7、faster r-cnn网络中输入烟箱外观缺陷的图像数据集进行模型的训练；

8、通过训练好的网络模型完成烟箱外观缺陷的智能检测任务。

9、所述利用监控摄像头或手拍摄设备构建烟箱外观有缺陷的图像数据集，具体为，使用监控摄像头或手机拍摄设备对烟箱外观出现的变形、破损和污渍缺陷进行拍照，从多种角度、距离和背景进行多次拍照，最后对图像缺陷的种类进行归类。

10、所述利用人为增加外观缺陷以及随机裁剪、水平翻转数据预处理方式对烟箱缺陷外观的图像数据集进行扩充，具体为，使用图像编辑软件在烟箱图片上模拟出变形、破损和污渍缺陷效果，接着利用随机裁剪、水平翻转数据预处理方式对图像数据集进行扩充，最后将数据集按8：1：1的比例划分训练集、验证集、测试集。

11、所述将烟箱外观缺陷图像数据集中的缺陷部位利用图像标注工具进行目标真实框标注，具体为，将烟箱外观缺陷图像数据集中的缺陷部位利用labelimg工具进行目标真实框标注，并生成相应的xml文件。

12、所述faster r-cnn网络中输入烟箱外观缺陷的图像数据集进行模型的训练，并获得缺陷检测模块，具体为：

13、s5.1、输入端：整理好的数据集首先经过mosaic方式进行数据增强，mosaic是通过随机抽取数据集中的四张图片进行拼接为一张，然后将图片缩放到指定大小，最后图片以640*640大小的分辨率，批量大小为4送入faster r-cnn网络模型中；

14、s5.2、backbone端：以mobilevitv3网络作为骨干，该网络是将cnn与transformer结合的混合网络模型，能够更好的对输入的图像进行多尺度特征提取，网络总共有5个stage，每经过一个stage特征图的高和宽就缩小为原来的一半，stage1由一个3*3的卷积层和一个mv2(mv2＝conv+bn+relu6)模块组成，卷积层同时进行两倍下采样；stage2由三个mv2模块组成，第一个mv2模块将会对特征图进行两倍下采样；stage3、stage4和stage5的结构一致，都是由mv2模块和mvitv3 block模块组成，mv2模块都将进行两倍下采样，三个stage的区别是，在mvitv3 block中transformer的迭代次数分别为2、4、3；

15、s5.3、neck端：利用rpn对backbone端输出的特征图进行预测并提取候选框，然后在原始图像中每个中心点绘制9种候选框，接着将分类结果与候选框信息结合，目的是为了得到更加精确的候选框；

16、s5.4、head端：将neck端得到的候选框相关特征送入分类和回归网络，得到最终检测目标的分类结果和预测框；

17、s5.5、将得到的预测框与真实框标签进行损失计算，然后反向更新faster r-cnn的权重，迭代网络参数；

18、s5.6、重复上述步骤s4.1-s4.5直至迭代终止，得到一个目标检测模块。

19、所述利用训练好的网络模型完成烟箱外观缺陷的智能检测任务，具体为，将训练好的烟箱外观缺陷检测模型部署在产品生产、运输和存储过程的监控设备上，对烟箱的外观进行实时监控，将检测到的缺陷类别和次数进行记录，并提醒企业相关工作人员做出相应的对策。

20、本发明的有益效果是：

21、(1)相较于人工目测的检测方式，本发明以更高的准确率和更高的效率对烟箱外观的缺陷进行智能检测，并且通过这种智能化的烟箱外观缺陷检测方式，能够及时发现烟箱外观在运输和存储过程中出现的缺陷问题，以及出现缺陷的环节，并反馈给企业相关工作人员做出相应的对策并对出现问题的环节进行快速排查。通过这种深度学习的方法，能够有效解决人的主观盘点所产生的不同标准问题，以及减少因人视觉疲劳所导致判断出错的问题，为烟草企业实现运输和存储环节产品质量更好的把控。

22、(2)本方法是将双层路由注意力机制与卷积神经网络结合的混合网络模型；在对烟箱外观检测的过程中，通过拍摄设备收集烟箱外观有缺陷的图像数据集，并通过人为增加外观缺陷以及随机裁剪、水平翻转数据预处理方式扩充烟箱缺陷外观的数据集，然后将图片中的缺陷部位进行标注；混合网络中输入烟箱外观缺陷的图像数据集进行模型训练，网络模型能够提取到图像的多尺度特征，最后通过网络提取的烟箱外观多尺度特征完成烟箱外观缺陷的检测任务。

23、(3)本发明能够对烟箱外观出现的变形、破损和污渍缺陷，以更高的准确率和更快的效率实现智能检测；通过这种深度学习方法能够做到实时检测烟箱外观在运输和存储过程中所产生的缺陷，使企业工作人员能够根据烟箱外观的缺陷做出相应的对策，大幅减少了因包装缺陷所带来的影响产品质量问题，以及导致运输和存储效率降低的问题。