一种布匹瑕疵智能识别方法及系统与流程

1.本发明涉及智能识别技术领域，特别一种布匹瑕疵智能识别方法及系统。


背景技术：

2.工业产品质量是工业产品质量生产企业生存的关键，而质量检测又是保证工业产品质量的核心重要环节。传统的工业产品质量缺陷判决主要是通过人工观察来完成，但人工质检员的不足也很明显，如人工验布速度有限制，一般只能达到12m/min；质检员的最长只能专注验布20～30min；质检员注意力会随着工业产品上疵点数量变化而产生变化，其疵点检出率随着每小时工业产品疵点数量变化而变化，单位时间内工业产品疵点数量多少对质检员的效率影响是很大的，可知质检员的检验效率很不稳定。所以，发展计算机视觉技术实现工业产品的疵点判决很有必要。近些年以来，有很多学者探索将计算机视觉技术应用。
3.到工业产品疵点判决中来，通过计算机智能检测技术，来实现工业产品疵点的在线实时检测，从而替代传统人工离线监测。而这些基于计算机智能检测技术的工业产品疵点判决方法又可以分为两个大类：一种是空间域算法，例如徐园园等基于hough变换和gabor滤波的疵点判决技术，首先利用hough变换确定工业产品的纹理方向，然后再通过gabor滤波技术，该算法要求被检测工业产品有着鲜明的纹理信息才可以完成疵点判决；何峰等基于跳步形态学法的工业产品疵点判决，该方法有助于改善工业产品疵点自动检测生产线中由于速度过快造成的工业产品抖动以及难以匹配问题，但该算法要求被检测的工业产品噪声少，同时疵点与背景的区别要尽可能明显的情况下才能对疵点做出检测；邹超等的基于灰度共生矩阵的疵点判决方法，然而灰度矩阵计算速度一直是妨碍工业产品检测效率提升的一大问题。另一种是频率域算法，例如管声启等提出的通过频域滤波的工业产品疵点判决，首先通过傅里叶变换获得频谱图像，然后设计根据获得的纹理频谱信息设计出抑制正常纹理的频域滤波器，以获得疵点信息，该方法的主要缺点是要求被检测工业产品拥有周期性或者方向性纹理，其无法实现普适性疵点缺陷判决；吴哲提出的基于小波分析和支持向量机(svm)的工业产品疵点判决，其通过对疵点图像进行mallat分解后然后通过小波函数提取的高频分量，并选取能量、熵、方差作为特征，最后通过svm算法对疵点进行分类，该方法如果想要提高疵点识别准确率，需要布匹中的疵点信息在整个图片中占比足够大，导致在应用到企业生产过程中需要增加更多的图像捕捉设备，从而提高了成本。
4.在工业领域，产品的瑕疵点是一个非常重要的课题，通过对先进的计算机视觉技术研究和开发，能够极大的提升工业产品疵点检验的准确度，降低对大量人工的依赖，提升质检的效果和效率。因此，针对基于计算机视觉技术的工业产品瑕疵点检测进行了深入的研究。
5.目前工业产品瑕疵点检测主要由人工完成，人工检测易受主观因素影响，缺乏一致性；并且检测人员在强光下长时间工作对视力影响极大。由于工业产品疵点种类繁多、形态变化多样、观察识别难道大，导致工业产品疵点智能检测成为困扰行业多年的技术瓶颈。


技术实现要素：

6.鉴于此，本发明提供一种布匹瑕疵智能识别方法及系统，以解决上述技术问题。
7.本发明公开了一种布匹瑕疵智能识别方法，其包括以下步骤：
8.将纺织车间现场采集的布匹图像进行标注；
9.基于已标注的图像构建resnext骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，所述模型参数包括梯度和权重；
10.将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
11.进一步地，所述将纺织车间现场采集的布匹图像进行标注，包括：
12.在工业生产现场安装及部署智能摄像机以实时拍摄生产线上的布匹图像；
13.通过在布匹图像上人工标注瑕疵框，得到标注数据；采用labelimg图像标注软件对布匹图像进行标注，标注布匹图像瑕疵的类型、瑕疵的位置。
14.进一步地，在所述将纺织车间现场采集的布匹图像进行标注之后，还包括：
15.对已标注图像进行图像增强；其中，所述图像增强包括布匹图像的裁剪、翻转、纹理颜色增强和杂质的形状轮廓锐化。
16.进一步地，所述基于已标注的图像构建resnext骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型，包括：
17.选用resnext作为骨干网络模型，输入已标注的训练图像，训练过程中不断更新模型参数，并选用多尺度的特征金字塔算法对图像特征进行提取，先对原始图像构造图像金字塔，然后在图像金字塔的每一层提出不同的特征，然后基于resnext骨干网络模型和提取的特征进行相应的预测；其中，训练图像有标注信息，标注信息包括name字段，代表图像名称；defect_name代表缺陷的类型；
18.结合布匹瑕疵的特点，检测框算法选取候选框提取算法，并通过标注数据训练深度学习模型；
19.对训练得到的深度学习模型进行性能评估，保留最佳模型。
20.进一步地，所述性能评估包括布匹疵点检出率、布匹疵点在布匹图像中的位置检验的准确度、布匹疵点分类的准确度以及检测速度；
21.所述性能评估的计算公式为：
22.0.2acc+0.8map
23.其中，acc是有瑕疵或无瑕疵的分类指标，考察瑕疵检出能力，提交结果name字段中出现过的测试图像均认为有瑕疵，未出现的测试图像认为是无瑕疵；map为参照pascalvoc的评估标准计算瑕疵的map值。
24.进一步地，模型的损失函数为focal loss函数，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
25.进一步地，所述将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别，包括：
26.对获取的待检测布匹图像进行标注，然后将标注后的待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
27.进一步地，在所述将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别之后，还包括：
28.对瑕疵点检测结果进行统计分析；其中，所述瑕疵点检测结果包括瑕疵点个数、瑕疵点位置。
29.进一步地，所述深度学习模型的训练在线下完成；所述待检测布匹图像表面的瑕疵点检测为线上检测。
30.本发明还公开了一种布匹瑕疵智能识别系统，其包括：
31.标注模块，用于将纺织车间现场采集的布匹图像进行标注；
32.模型训练和特征提取模块，用于基于已标注的图像构建resnext骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，所述模型参数包括梯度和权重；
33.检测模块，用于将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
34.由于采用了上述技术方案，本发明具有如下的优点：
35.本发明采用最新的深度学习基础模型resnext，具有高可移植性、高精度的优点；选用了多尺度的特征金字塔(fpn)算法，使模型可以获得较好的检测精度；检测框算法我们选取了改进的rpn算法，相比于传统的候选框提取算法，它能够有效地减少了模型的检测时间；对于模型的损失函数，我们选用了最新的focal loss函数，它可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，从而提高检测的精确度。本发明将彻底改变布匹行业现有的人工检测方式，通过强大的深度学习算法，实现系统集成，工艺优化，资源配置效率提升，形成应用示范。
附图说明
36.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例的一种布匹瑕疵智能识别方法的实施例示意图。
具体实施方式
38.结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
39.参见图1，本发明提供了一种布匹瑕疵智能识别方法的实施例，其包括以下步骤：
40.s1、将纺织车间现场采集的布匹图像进行标注；
41.s2、基于已标注的图像构建resnext骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，模型参数包括梯度和权重；
42.s3、将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
43.本实施例中，将纺织车间现场采集的布匹图像进行标注，包括：
44.在工业生产现场安装及部署智能摄像机以实时拍摄生产线上的布匹图像；
45.通过在布匹图像上人工标注瑕疵框，得到标注数据；采用labelimg图像标注软件对布匹图像进行标注，标注布匹图像瑕疵的类型、瑕疵的位置。
46.本实施例中，在s1之后，还包括：
47.对已标注图像进行图像增强；其中，图像增强包括布匹图像的裁剪、翻转、纹理颜色增强和杂质的形状轮廓锐化。
48.本实施例中，s2包括：
49.选用resnext作为骨干网络模型，输入已标注的训练图像，训练过程中不断更新模型参数，并选用多尺度的特征金字塔算法对图像特征进行提取，先对原始图像构造图像金字塔，然后在图像金字塔的每一层提出不同的特征，然后基于resnext骨干网络模型和提取的特征进行相应的预测；其中，训练图像有标注信息，标注信息包括name字段，代表图像名称；defect_name代表缺陷的类型；
50.结合布匹瑕疵的特点，检测框算法选取候选框提取算法，并通过标注数据训练深度学习模型；
51.对训练得到的深度学习模型进行性能评估，保留最佳模型。
52.本实施例中，性能评估包括布匹疵点检出率、布匹疵点在布匹图像中的位置检验的准确度、布匹疵点分类的准确度以及检测速度；
53.性能评估的计算公式为：
54.0.2acc+0.8map
55.其中，acc是有瑕疵或无瑕疵的分类指标，考察瑕疵检出能力，提交结果name字段中出现过的测试图像均认为有瑕疵，未出现的测试图像认为是无瑕疵；map为参照pascalvoc的评估标准计算瑕疵的map值。
56.本实施例中，模型的损失函数为focal loss函数，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
57.本实施例中，s3包括：
58.对获取的待检测布匹图像进行标注，然后将标注后的待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
59.本实施例中，在s3之后，还包括：
60.对瑕疵点检测结果进行统计分析；其中，瑕疵点检测结果包括瑕疵点个数、瑕疵点位置。
61.本实施例中，深度学习模型的训练在线下完成；待检测布匹图像表面的瑕疵点检测为线上检测。
62.本发明还提供了一种布匹瑕疵智能识别系统的实施例，其包括：
63.标注模块，用于将纺织车间现场采集的布匹图像进行标注；
64.模型训练和特征提取模块，用于基于已标注的图像构建resnext骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，模型参数包括梯度和权重；
65.检测模块，用于将待检测布匹图像输入训练好的深度学习模型中，得到待检测布
匹瑕疵的位置和类别。
66.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。