基于改进YOLOv5模型的陶瓷餐具表面缺陷检测方法

本发明涉及目标检测，尤其是基于改进yolov5模型的陶瓷餐具表面缺陷检测方法。

背景技术：

1、陶瓷餐具的表面缺陷检测是保证陶瓷餐具质量工艺流程中的重要环节。国内陶瓷餐具的表面缺陷检测目前仍主要依赖人工质检。人工质检主要存在主观偏差、能力水平不一、误判漏判、疲劳或心理状态等影响因素，因此利用智能化缺陷检测技术是企业提高质检效率和产品质量的必然趋势。

2、目前，深度学习在缺陷检测方面有着广泛的应用，可以通过训练深度神经网络来实现自动化的缺陷检测。卷积神经网络(cnn)是一种深度学习模型，广泛应用于图像处理、目标检测等领域。与传统的神经网络相比，cnn在处理图像和其他二维数据时具有更好的性能和效率。cnn的核心思想是通过卷积操作来提取输入图像的局部特征，并通过池化操作减小特征图的尺寸。在cnn中，通常还会添加批归一化和激活函数来增加模型的非线性能力和稳定性。

3、目前，研究人员基于目标检测模型在不同工业背景中进行了应用研究。例如：改进型yolov3的金属加工表面缺陷检测方法，通过多尺度融合、省去了池化层并且减小了降采样因子等方法，对获取的金属表面加工图像进行缺陷检测，最终实现了金属加工表面小目标缺陷的精准检测；一种基于深度学习的太阳能电池板缺陷检测方法，利用工业相机拍摄收集太阳能电池板成像后图像，通过对图像预处理减弱噪声干扰；制作的数据集使用融合注意力机制的faster-r-cnn网络对太阳能电池板缺陷检测，检测效率高，检测缺陷种类全面。利用yolo-r模型对构建的陶瓷盘数据集进行缺陷检测；基于scaled-yolov4构建了低成本高效的陶瓷盘缺陷检测系统。

4、通过对上述研究的分析，深度学习模型可以应用在不同工业场景下的缺陷检测问题，同时在陶瓷餐具缺陷检测上也有具体的应用。然而针对陶瓷餐具的研究非常有限，这种局限性体现在以下几点：①上述现有技术仅针对陶瓷盘进行缺陷检测研究，而陶瓷餐具产品的种类众多，还包含陶瓷碗、陶瓷杯子等，不同陶瓷产品的缺陷呈现特点也不同；②陶瓷餐具表面缺陷的种类研究不完善，大多仅仅围绕开裂和脏点两类缺陷，缺陷的种类有待进一步扩充；③所使用的模型参数量大，检测精度和推理速度并未达到要求。

技术实现思路

1、本发明需要解决的技术问题是提供基于改进yolov5模型的陶瓷餐具表面缺陷检测方法，解决了当前陶瓷餐具表面缺陷检测中常见的问题，检测精度高、达到实时检测标准，提高了陶瓷餐具表面缺陷检测的准确率和效率。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、一种基于改进yolov5模型的陶瓷餐具表面缺陷检测方法，包括以下步骤：

4、步骤1，基于dds数据通信协议，远程采集陶瓷餐具表面缺陷的图片数据，构建陶瓷餐具表面缺陷数据集；

5、步骤2，利用陶瓷餐具可视化软件对数据集中的陶瓷餐具表面缺陷图像进行批量数据增强处理，并将预处理后的数据集划分为训练集、验证集和测试集；

6、步骤3，构建基于改进yolov5模型的陶瓷餐具表面缺陷检测模型，所述模型包括空间金字塔池化模块、transformer编码模块、cbam注意力机制模块和轻量化卷积gsconv；

7、步骤4，采用训练集对构建的基于改进yolov5模型的陶瓷餐具表面缺陷检测模型进行训练，采用验证集来调整模型参数，获取最优权重；

8、步骤5、采用测试集对基于最优权重的改进yolov5模型的陶瓷餐具表面缺陷检测模型进行精度和速度评估。

9、本发明技术方案的进一步改进在于：在所述步骤1中，基于dds数据通信协议的远程采集包含图片采集系统、发布者、订阅者、主题、数据写入者、数据读取者和终端处理系统；图片采集系统主要用于采集含有缺陷的陶瓷餐具图片；发布者主要发布主题数据，通过调用数据写入者的相关函数将数据发布；数据写入者把需要发布的主题数据写入到datawriter中；此时的主题为陶瓷餐具表面缺陷数据；数据读取者从订阅者得到主题数据；订阅者订阅主题数据；终端处理系统负责对接受到的图片数据进行进一步的处理；基于dds通信协议的远程采集方案，通过配置发布者端、订阅者端和dds域，能够实现高效、实时和可靠的图片数据传输。

10、本发明技术方案的进一步改进在于：在所述步骤2中，利用陶瓷餐具可视化软件对数据集中的陶瓷餐具表面缺陷图像进行预处理，具体过程为：根据步骤1构建的陶瓷餐具表面缺陷数据集，缺陷种类为开裂、缺胚、缩釉、落渣和脏点五类缺陷；对数据集中的图片进行垂直、水平和镜像翻转进行批量数据增强；按照8:1:1的比例将数据集划分为训练集、验证集和测试集。

11、本发明技术方案的进一步改进在于：在所述步骤3中，所述空间金字塔池化模块主要由标准卷积、最大池化和平均池化组成，最大池化和平均池化的尺寸被统一设置为5。

12、本发明技术方案的进一步改进在于：在所述步骤3中，所述transformer编码模块能够将从前一层输出的陶瓷餐具批量特征映射在宽度的基础上均匀地切成小块，融合经线性变换的位置嵌入，得到一个二维空间序列；这个二维空间序列将被送入transformerencoder中，在多头注意力中学习图像中每个位置像素之间的依赖关系，并充分捕获对象之间的广泛依赖关系；经过同一线性变换生成的q、k、v简化了计算；layernorm归一化方法缓解了内部协变量偏移的问题，dropout有效的防止了拟合；多层感知机mlp学习了输入数据的非线性映射关系，最终经过变换以满足后续网络的形状要求。

13、本发明技术方案的进一步改进在于：在所述步骤3中，所述cbam注意力机制模块是针对陶瓷餐具纹理信息复杂，纹理信息会掩盖一些缺陷特征，相似缺陷易混淆的问题而引入的一种结合空间和通道的注意机制模块，能够抵制混淆信息，专注于有用的目标信息；在cbam注意力机制模块中，输入依次通过通道注意力模块和空间注意力模块，通道注意和空间注意相结合，对输入进行三维处理，选择最重要的特征；cbam的整体过程如公式(1)所示：

14、

15、其中，f是输入特征图；f”是输出特征图；f'既是通道注意力的输出，也是空间注意力的输入；表示逐元素相乘；

16、通道注意力模块的计算公式如公式(2)所示：

17、mc(f)＝σ{mlp[avgpool(f)]+mlp[maxpool(f)]}         (2)

18、其中，σ是sigmoid激活函数；mlp是多层感知器；avgpool()和maxpool()分别是自适应平均池化和自适应最大池化操作，通道注意力模块对每个特征通道的重要性进行过滤，分配不同的权重；空间注意力模块计算公式如公式(3)所示：

19、ms(f')＝σ{f{[avgpool(f')]；[maxpool(f')]}}             (3)

20、其中，σ是sigmoid激活函数；f是卷积层运算，其中卷积尺寸为7，区别于通道注意力；avgpool()和maxpool()分别是沿着通道轴的平均池化和最大池化操作。

21、本发明技术方案的进一步改进在于：在所述步骤3中，所述轻量化卷积gsconv是为了降低模型参数，保证模型的轻量化而引入的，轻量化卷积gsconv将替换颈部网络中所有标准卷积，轻量化卷积gsconv主要包含标准卷积、深度可分离卷积dsc和洗牌操作。

22、本发明技术方案的进一步改进在于：在所述步骤5中，评价指标主要包括精确率、召回率、map和fps；精确率是指模型预测为正例中真正为正例的比例；召回率是指模型正确预测为正例的样本占所有真正为正例的样本的比例；map是综合指标，用于评估目标检测模型的性能，它是所有类别平均精度的平均值，即每个类别的精确率-召回率曲线下面积，map越高，说明模型在多个类别上的性能越好；fps代表每秒帧数，它是衡量系统性能的重要指标之一，fps表示在一秒钟内处理的图像帧数；公式如下：

23、

24、

25、

26、其中，n为类别数，api表示第i个类别的平均精度；tp表示陶瓷餐具表面缺陷的识别的真阳性；fp表示陶瓷餐具表面缺陷的识别的假阳性；tn表示陶瓷餐具表面缺陷的识别的真阴性；fn表示陶瓷餐具表面缺陷的识别的假阴性。

27、由于采用了上述技术方案，本发明取得的技术进步是：

28、1、本发明为了更好保留特征信息，提高鲁棒性，提出了一种新的空间金字塔池化模块，增加了transformer编码模块和注意力机制，提高了yolov5模型全局信息获取能力和对小目标缺陷的检测能力。

29、2、本发明为了平衡模型的轻量化和精度，采用了轻量化卷积，降低了模型参数。

30、3、本发明采用dds数据传输协议远程采集图片数据，实时性好、成本低，数据质量高。

31、4、本发明自主开发的可视化软件可完成批量数据增强。

32、5、本发明中共收集开裂、缺胚、缩釉、落渣和脏点五类陶瓷餐具表面缺陷，缺陷种类收集更全面。

33、6、本发明在6834张陶瓷餐具表面缺陷图像中实现了84.9％的map和每张平均11.5毫秒的推理速度，为解决陶瓷餐具表面缺陷检测的问题提供了理论和实践基础，该模型在精度、速度和成本上具有优势，能够满足工业化的需求。