一种基于深度学习的布匹疵点智能识别方法与流程

本发明涉及深度学习的计算机视觉和图像处理领域，尤其涉及一种基于深度学习的布匹疵点智能识别方法。

背景技术：

布匹疵点检验是纺织行业生产和质量管理的重要环节，目前的人工检验速度慢、劳动强度大，受主观因素影响，缺乏一致性。2016年我国布匹产量超过700亿米，且产量一直处于上升趋势，如果能够将人工智能和计算机视觉技术应用于纺织行业，对纺织行业的价值无疑会是巨大的。

深度学习是近些年机器学习领域的一个重大突破，它使得计算机在语音、图像、语义理解等方面取得了重大进展，在众多领域得到了广泛应用。本项目将深度学习应用于布匹疵点检验，检测图像中的不同的疵点形态。利用相机拍摄的图像，对图片中的疵点进行识别、分类，大大减轻了人力负担。构建检测模型，通过实验证实了模型的有效性。

华中科技大学的人工智能研究所的论文，深度学习在布匹缺陷检测中的应用(赵志勇、叶林等人.深度学习在布匹缺陷检测中的应用[j].国外电子测量技术,2019,08:110-116)中使用深度神经网络进行布匹缺陷检测，成功率较高，但是检测速度非常慢。江苏大学的刘闪亮，刘锋洲等人发表的论文基于神经网络的织物图像缺陷检测定位算法研究(刘闪亮、刘锋洲等人.神经网络的织物图像缺陷检测定位算法研究[d].江苏大学2019)中提出，使用原始的ssd模型实现织物的缺陷检测，但是检测速度达不到工业的要求。天津工业大学的黄累，韩晓军等人在论文织物疵点的图像信息检测方法研究(黄累、韩晓军等人.织物疵点的图像信息检测方法研究[d].天津工业大学2015)中，使用数学形态学方法检测织物疵点，但是在精度上和速度上都有待提高。目前布匹检测的解决方案当中，存在着模型计算量太大，检测速度和检测精度没办法同时满足工业要求。本发明使用改进的ssd模型，引入深度可分离卷积操作，压缩了模型计算量，提高了检测速度，实现工业实时检测的目的。

技术实现要素：

本发明的目的是提供一种基于深度学习的布匹疵点智能识别方法。

本发明至少通过如下技术方案之一实现。

一种基于深度学习的布匹疵点智能识别方法，所述方法包括以下步骤：

步骤s1、利用相机对包含不同形态疵点的布匹进行拍摄以获取图片素材，按比例划分图片为训练集和验证集；

步骤s2、将步骤s1所得图片素材进行标注；

步骤s3、将步骤s2已经标注完成的标注数据，输入物体检测模型进行训练，把训练得到的模型参数保存下来；

步骤s4、输入测试图像进行缺陷检测，把步骤s3得到的模型参数赋予原始的物体检测模型，并且把测试图像作为训练好的物体检测模型的输入，对输入的图像测试进行处理，然后模型根据特征图预测疵点的类型和计算疵点的位置。

进一步地，所述疵点的形态包括正常、扎洞、毛斑和油迹。

进一步地，训练集和验证集比例为8:2。

进一步地，步骤s2包括以下步骤：

步骤s201、确定图像的标注规则，因为模型的最后一层输出属于softmax输出，属于概率分布输出，在构建图片标签过程中，对正常的布匹标注为(1,0,0,0),对包含扎洞的布匹标注为(0,1,0,0)，对包含毛斑的布匹标注为(0，0,1,0)，对包含油迹的布匹标注为(0,0,0,1)；

步骤s202、利用标注工具labelimg，根据步骤s201的标注规则，把图片中的疵点位置标识出来，并且对疵点类别进行人工分类，分类完毕后生成特定的标注文件，文件内容包括疵点的分类类别和位置坐标。

进一步地，所述物体检测模型为ssd模型。

进一步地，步骤s3包括以下步骤：

步骤a、把步骤s200标注完成的训练集和验证集中的图片输入物体检测模型，基于训练集的数量没有达到训练要求的考虑，使用数据增广对训练集的数据进行一系列的扩展，包括图片翻转，图片剪裁，图像模糊，图像旋转，把扩展到的数据和原始数据一起输入模型进行训练；

步骤b、把步骤a获得的数据输入模型之后，使用dropout，在每一次迭代训练当中，以提前设定的概率，消除部分神经网络中的神经元，降低单个神经元对于训练效果的作用，同时使权重随着迭代次数增加而衰减，避免模型过于复杂导致的过拟合；

步骤c、在步骤b的前提下，使用adam优化算法来加速迭代计算的收敛过程，同时使用深度可分离卷积减少模型的计算量，减低模型的复杂度；当验证集误差在n轮迭代之内没有下降，则停止训练。

进一步地，步骤s4所述的处理包括把测试图像尺寸修改到符合物体检测模型的输入尺寸。

进一步地，当ssd模型对训练集的误差率随着迭代次数的增加，趋于一个稳定的状态，而且稳定之后的误差率满足工业要求，说明模型对训练数据的拟合程度良好。

当ssd模型对验证集的误差率随着迭代次数的增加，趋于一个稳定的状态，而且稳定之后的误差率满足工业要求，说明模型对未知数据的泛化能力良好。

本发明使用专业的标注软件对数据进行标注，把标注完毕的数据集输入特定的模型系统当中迭代训练，当系统满足对数据集预测精度，则训练完毕保存系统参数。在标注数据的过程中，为了满足模型对数据量的要求，使用数据增广技术对原始数据进行扩展，并且在训练模型的过程中，使用dropout正则化防止模型过于复杂导致的过拟合,同时使用深度可分离卷积，进一步减少计算机的计算量。

本发明使用的ssd模型处理数据速度快，达到了生产线实时拍摄检测的工程要求，同时模型准确率高，能准确标注出实时拍摄图像中疵点的位置和类别。本方法有区别于传统的计算机处理技术，实现了端到端的处理效果，提高了工作效率，同时模型内部复杂的特征提取计算，有效提高了模型的鲁棒性

与现有的技术相比，本发明的的有益效果如下：

1.本发明实现了布匹疵点检测端到端的检测效果，避免了传统检测算法人工提取图像特征的步骤，降低了检测方法开发的难度；

2.相比于其他深度学习检测算法，本发明在ssd模型的基础上，使用深度可分离卷积的技术，在保持高准确率的基础上，压缩了模型的参数和计算量，使检测算法可以满足工业实时检测的需求；

3.使用深度可分离卷积，压缩了模型计算量，提高了模型计算速度；深度可分离卷积配合adam算法，加快了模型训练的速度，同时使用dropout技术避免模型出现过拟合。

附图说明

图1是本实施例的基于深度学习的布匹疵点智能识别方法流程示意图；

图2是本实施例的训练数据位置标注图；

图3是本实施例的训练过程中训练集和验证集误差率下降图。

具体实施方式

下面通过一个具体实施例并结合参考附图来阐明本发明的目的和功能。

如图1所示的一种基于深度学习的布匹疵点智能识别方法，包括以下步骤：

步骤s100、利用相机采集正常的布匹图像和包含不同疵点类型的布匹图像。正常的布匹图像是指不包含疵点缺陷的布匹图像，分辨率120dpi。包含疵点的图像要求疵点缺陷肉眼可见，分辨率120dpi。最后将采集到的照片按照8比2的比例，划分为训练集和验证集。

步骤s200、对步骤s100得到的训练集和验证集的照片进行疵点位置和分类的人工标注，如图2所示。

步骤s200还包括以下步骤：

步骤s201、确定图像的标注规则，因为模型的最后一层输出属于softmax输出，属于概率分布输出，在构建图片标签过程中，对正常的布匹标注为(1,0,0,0),对包含扎洞的布匹标注为(0,1,0,0)，对包含毛斑的布匹标注为(0，0,1,0)，对包含油迹的布匹标注为(0,0,0,1)；

步骤s202、利用标注工具labelimg，根据步骤s201的标注规则，把图片中的疵点位置标识出来，并且对疵点类别进行人工分类，分类完毕后生成特定的标注文件，文件内容包括疵点的分类类别和位置坐标。如图2所示，标注完毕后生成特定的标注文件，文件内容包括疵点的分类类别和位置坐标。

步骤s300、把步骤s200获得的标注数据输入基于深度学习的物体检测模型即ssd模型，通过梯度下降法迭代计算，当验证集误差在100轮迭代之内没有下降，停止训练系统。

关于步骤s300还包括以下子步骤：

步骤s301、基于数据集的数量没有达到训练要求的考虑，使用数据增广，对训练集的数据进行一系列的扩展，包括图片翻转，图片剪裁，图像模糊，图像旋转。把扩展到的数据和原始数据一起输入物体检测模型进行训练。

步骤s302、把步骤s301获得数据输入物体检测模型之后，使用dropout，在每一次的迭代训练当中，设定每一个神经元有20％的机会被消除，每一轮迭代都会随机消除一部分神经网络中的神经元，降低单个神经元对于训练效果的作用。同时使权重随着迭代次数增加而衰减，避免模型过于复杂导致的过拟合。

步骤s303、在步骤s302的前提下，使用adam优化算法，adam优化算法综合了momentum算法和rmsprop算发的优点，以此来加速迭代计算的收敛过程，进一步优化算法。同时使用深度可分离卷积减少模型的计算量，减低模型的复杂度。当验证集误差在100轮迭代之内没有下降，停止训练模型，训练过程中训练集和验证集误差率下降，如图3所示。

步骤s400、把步骤s300得到的模型用于布匹疵点智能识别，本实施例用于生产线上，实时拍摄检测布匹缺陷，具体如下：

把步骤s3得到的模型参数赋予原始的物体检测模型，并且把测试图像作为训练好的物体检测模型的输入，模型对输入进行处理，物体检测模型即ssd模型对测试图像的尺寸修改成400*400，并且通过ssd模型里面的特征提取网络做特征提取，生成特征图，然后模型根据特征图预测疵点的类型和计算疵点的位置。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。