一种基于机器视觉的布匹瑕疵实时检测方法与流程

本发明涉及纺织业质量控制领域，是一种基于机器视觉对多种布匹瑕疵进行检测的方法。

背景技术：

1、布匹瑕疵检测是人工智能领域的一个重要研究方向，它可以应用于鉴别织物质量，减少人力成本，提高验布效率。

2、近年人工智能发展快速，基于深度学习的算法在目标定位与分类识别方面表现出巨大的优势，可以快速而有效地提取和分析图像中复杂深层次地特征，对于图像目标检测、定位、分类具有很好的效果。在实时目标检测领域，精度和速度是最重要的两个指标。但是在现有技术中，智能检测方法不仅前期处理复杂，精度和速度方面也达不到实际需求。

3、公开号为cn115239615a的中国专利文献公开了一种基于ctpn的布匹缺陷检测方法；将原始的vgg16更换为molilenetv2的网络作为特征提取器，利用双向lstm对时序特征进行检测，该方法增加了模型的鲁棒性，大大提升了布匹缺陷定位的准确率，但速度不够快。

4、公开号为cn115393265a的中国专利文献公开了一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法；该方法集成的前景目标对齐模块和全局特征对齐模块，实现了对布匹瑕疵检测任务领域偏差的有效修正，大大提升了模型的泛化性，使得瑕疵检测模型在新的布匹类别上拥有更高的检测精准度，但速度太慢。

5、公开号为cn115205274a的中国专利文献公开了一种基于轻量化级联网络的布匹瑕疵检测方法；该方法构造了一个适用于布匹缺陷检测的yolov5s-gsbifpn轻量化检测模型。在主干网络特征提取阶段，设计了全新的双路注意力cspghostse结构，并通过堆叠多层cspghostse结构提取深层特征。在特征融合阶段使用了三层堆叠的加权双向金字塔bifpn结构，充分融合多尺度特征。其次针对检测缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构，对预测框进一步进行是否为瑕疵的二分类判断过滤误检。本发明设计的轻量化级联检测模型显著提升了小目标和困难样本检出能力，误检较少且模型较小，易于实现低性能设备端部署，但精度方面还有很大的提升空间。

6、上述技术方案虽然在瑕疵检测的某一方面有很大的性能提升，或速度，或精度，但都牺牲了其它方面性能为代价，无法使速度和精度同时达到更高的水平。本发明专利同时兼顾检测速度和精度，更加符合现代工厂对验布速度和精度的要求。

技术实现思路

1、本发明通过以下技术方案来实现：

2、一种基于机器视觉的布匹瑕疵实时检测方法，包括以下内容：

3、第一步：通过高清摄像头获取带有瑕疵的布匹图像，瑕疵包括破洞、污渍、毛疵。所述带有瑕疵的布匹图像包括：训练图像和测试图像。

4、第二步：使用gan网络对训练图像进行数据倍增；使用mosaic-4数据增强手段对所述训练图像进行数据增强，得到增强后的训练图像。

5、第三步：准备yolo格式的数据集。即通过imagelabel软件对瑕疵进行框选和分类。

6、第四步：基于yolov7进行网络模型的构建与改进：

7、(1)将骨干网络的cbs结构全部替换为深度可分离卷积网络和注意力机制模块。通过深度可分离卷积网络达到大幅度减少参数量，提高效率的效果。通过所述注意力机制模块，得到每个特征通道的重要程度，基于所述重要程度，得到布匹瑕疵的局部信息。

8、(2)将原yolov7网络中的20*20尺寸特征图检测层删除。

9、(3)将采样倍数增加至yolov7网络的fpn结构中，对带疵点图像的小尺寸目标进行识别，得到新尺寸160*160的特征图，其中所述新尺寸特征图为位置信息。

10、(4)采用eiou损失函数。对锚点的长宽和位置进行回归，并预测锚点的类别，最终输出回归分类好的锚点。

11、第五步：将训练图像以yolo格式输入到改进的yolov7模型中进行训练。设置好训练次数，训练结束之后获取best.pt模型。

12、第六步：采用训练好的模型，使用测试数据集进行性能评估。

技术特征：

1.一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，所述步骤2中，使用gan网络对训练图像进行数据集倍增，所述gan网络包括但不限于cgan,cyclegan等各类生成对抗网络，通过训练好的生成器进行指定瑕疵的生成。

3.根据权利要求1所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，所述步骤2中，使用mosaic-4进行数据增强，mosaic-4是指随机挑选出四张图片，通过采用随机裁剪、随机排序、随机组合的原则生成数据增强后的图片。

4.根据权利要求1所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，所述步骤3中，对瑕疵图片进行分类标记，是指对步骤2中增强训练图像进行瑕疵的分类和标签制作。

5.根据权利要求1所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，所述步骤4中，网络模型的改进是指在yolov7模型的基础上，对backbone层、预测层进行改进，具体方法为：

6.根据权利要求1所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，所述步骤5中，将指定格式的训练图像输入到经过步骤4改进好的网络模型中进行训练，其具体过程为：

7.根据权利要求6所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，backbone层对预处理后的数据集中的图像进行处理的过程为:预处理后的数据集中的图像依次输入cbs模块，dsc模块，cbam模块，elan模块，mp模块以及sppcspc模块，获得不同尺度的瑕疵图像特征图。

8.根据权利要求6所述的一种基于机器视觉的布匹瑕疵实时检测方法，其特征在于，neck层对不同尺度的瑕疵图像特征图进行处理的过程为:经过upsample模块，elan模块，mp模块将提取到的高层语义信息和低层定位信息在不同尺度融合，得到不同尺度的瑕疵特征融合图。

技术总结
本发明公开了一种基于机器视觉的布匹瑕疵实时检测方法，涉及纺织业质量控制领域，首先采集原始布匹瑕疵图像，再利用生成对抗网络(Gan)对图像数量和种类进行倍增，利用Mosaic‑4进行数据增强。之后将分类、标注好的图像输入构建好的神经网络模型中，其中构建的神经网络是基于实时目标检测模型进行的改进，模型改进方法为：在backbone层引入深度卷积可分离网络和注意力模块机制CBAM的组合；在预测层更换小目标检测层，即将特征图尺寸为20*20的目标检测层更换为特征图尺寸为160*160的目标检测层。同时使用EIOU作为损失函数提升布匹瑕疵预测框的精准度。本发明通过对原始数据集的优化处理以及网络模型的优化，不仅满足布匹瑕疵实时检测对速度的需求，也大大提高了检测的精准度。

技术研发人员：刘奇龙,谢团结,顾善琪,王泽峰,胡连信,纪文杰,蔡郑婷
受保护的技术使用者：郑州爱之行科技有限公司
技术研发日：
技术公布日：2024/2/6