一种基于卷积神经网络的织带边缘毛疵缺陷检测方法与流程

文档序号:15096648发布日期:2018-08-04 14:44阅读:205来源:国知局

本发明涉及织带边缘毛疵缺陷检测领域,尤其是一种基于卷积神经网络的织带边缘毛疵缺陷检测方法。



背景技术:

在织带生产过程中,由于机器故障和纱线问题,会使得生产的织带带有许多毛疵缺陷,而织带外观是影响产品质量的重要因素,因此,缺陷检测成为了织带工业生产的关键环节。传统人工方式的织带缺陷检测太耗费人力、财力,并且这种方式过度依赖于检测者的注意力和判断力,随着计算机图像处理与识别的不断发展,织带缺陷自动检测重要性日益突出,逐渐取代人工检测。

传统的织带缺陷自动检测主要是通过传统机器学习的方法,通常分为两个部分:基于特征提取方法和基于模板匹配的方法,而基于特征提取方法主要有基于统计的方法、基于谱的方法、基于纹理模型方法、基于学习的方法和基于结构的方法。但是由于织带边缘毛疵缺陷比较微细,不明显,使得传统机器学习检测效果不够好,深度学习是机器学习研究中的一个新领域,其主要在于建立能模拟人脑进行分析的神经网络,是具有多隐含层的神经网络结构。深度学习通过组合底层特征形成更加抽象的高层表示属性或特征,从而能够有效对织带边缘毛疵缺陷进行特征提取、训练并检测。

在卷积神经网络中,如果增加网络中的隐含层,利用加深神经网络的层数,可以进一步提高网络的识别成功率,对于织带边缘毛疵缺陷较为细小,与其他区域相差较大,因而通过增加网络的层次可以有效提高织带边缘毛疵缺陷检测的成功率,但是与此同时,加深神经网络的层数,不仅会加大网络中参数的总量,也会使得计算量变得非常庞大,消耗更多的计算资源,从而容易出现过拟合的现象,这个问题当数据集数量较少时会更加明显。在织带工业生产中,对于织带自动检测过程,由于计算资源有限,使用超高计算性能的硬件不现实,因此,有必要在加深网络层数同时保持或减小网络的计算量,提高计算性能。



技术实现要素:

为解决上述问题,本发明的目的在于提供一种基于卷积神经网络的织带边缘毛疵缺陷检测方法,不仅能够对织带边缘毛疵缺陷进行有效的检测,并且能够有效地减少卷积神经网络的参数量,提高计算性能,使生成的模型足够小,从而实现在嵌入式平台上的实时检测。

本发明解决其问题所采用的技术方案是:

一种基于卷积神经网络的织带边缘毛疵缺陷检测方法,包括以下步骤:

A、图像采集及预处理,得到样本图片;

B、对样本图片进行图像增强处理,得到训练图片;

C、构建具有多尺度并行训练结构的卷积神经网络;

D、利用训练图片对卷积神经网络进行训练处理;

E、利用经过训练处理的卷积神经网络进行毛疵缺陷检测。

进一步,步骤A中,图像采集及预处理,得到样本图片,包括以下步骤:

A1、利用摄像机采集织带图片,并对采集到的织带图片进行二值化处理;

A2、对经过二值化处理的织带图片进行倾斜校正;

A3、对校正后的织带图片的边缘以70×70像素的大小进行裁剪,提取到70×70像素的样本图;

A4、对样本图进行分类,分别得到边缘有毛疵缺陷的样本图片和边缘无毛疵缺陷的样本图片。

进一步,步骤B中,对样本图片进行图像增强处理,得到训练图片,包括以下步骤:

B1、对样本图片进行镜像操作;

B2、把经过镜像操作后的样本图片随机裁剪成65×65像素的中间图片;

B3、把每张中间图片分别减去全部样本图片的均值,得到训练图片。

进一步,卷积神经网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一最大池化层、多尺度并行训练结构、第一平均池化层、dropout层和第一Softmax层。

进一步,多尺度并行训练结构包括依次连接的第一多尺度并行训练模块、第二多尺度并行训练模块、第三多尺度并行训练模块、第四多尺度并行训练模块和第五多尺度并行训练模块。

进一步,第一多尺度并行训练模块、第二多尺度并行训练模块、第三多尺度并行训练模块、第四多尺度并行训练模块和第五多尺度并行训练模块均包括第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第二最大池化层和连接层,第四卷积层形成第一卷积组,第五卷积层和第六卷积层依次连接形成第二卷积组,第七卷积层、第八卷积层和第九卷积层依次连接形成第三卷积组,第二最大池化层和第十卷积层依次连接形成第四卷积组,第一卷积组、第二卷积组、第三卷积组和第四卷积组相互并联并共同输出到连接层。

进一步,第五多尺度并行训练模块还包括第二平均池化层、第十一卷积层、全连接层和第二Softmax层,第二平均池化层、第十一卷积层、全连接层和第二Softmax层依次连接,第二平均池化层分别与第四卷积层、第五卷积层、第七卷积层和第二最大池化层相连接。

进一步,多尺度并行训练结构中的每一层的输出均连接有一个ReLU修正线性单元层。

进一步,dropout层的dropout比例为0.4。

进一步,全连接层的输出数量为2个。

本发明的有益效果是:一种基于卷积神经网络的织带边缘毛疵缺陷检测方法,多尺度并行训练结构,是一种用于深度学习的神经网络的新型构建模块,由多个多尺度并行训练模块构成,能够构建密集的块结构从而近似最优的稀疏结构,即将稀疏矩阵聚类为较为密集的子矩阵,从而达到提高计算性能又不增加计算量的目的;此外,多尺度并行训练结构还能够实现降维及投影的作用,通过对卷积神经网络中常用的3×3的卷积层与5×5的卷积层进行降维,以及对卷积神经网络中常用的3×3的池化层进行投影而使之被投影到较低维,从而能够达到减少计算量的目的。因此,本发明的基于卷积神经网络的织带边缘毛疵缺陷检测方法,通过利用具有多尺度并行训练结构的卷积神经网络对织带边缘进行毛疵缺陷的检测,不仅能够很好地提取织带边缘的毛疵缺陷特征,并且能够有效保持或减小卷积神经网络的计算量,从而提高计算性能。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明中的多尺度并行训练结构的示意图;

图2是具有多尺度并行训练结构的卷积神经网络的示意图;

图3是本发明中的卷积神经网络在训练过程中的精确度曲线图;

图4是本发明中的卷积神经网络在训练过程中的损失值曲线图。

具体实施方式

参照图1-图2,本发明的一种基于卷积神经网络的织带边缘毛疵缺陷检测方法,包括以下步骤:

A、图像采集及预处理,得到样本图片;

B、对样本图片进行图像增强处理,得到训练图片;

C、构建具有多尺度并行训练结构的卷积神经网络;

D、利用训练图片对卷积神经网络进行训练处理;

E、利用经过训练处理的卷积神经网络进行毛疵缺陷检测。

其中,步骤A中,图像采集及预处理,得到样本图片,包括以下步骤:

A1、利用摄像机采集织带图片,并对采集到的织带图片进行二值化处理;

A2、对经过二值化处理的织带图片进行倾斜校正;

A3、对校正后的织带图片的边缘以70×70像素的大小进行裁剪,提取到70×70像素的样本图;

A4、对样本图进行分类,分别得到边缘有毛疵缺陷的样本图片和边缘无毛疵缺陷的样本图片。

另外,步骤B中,对样本图片进行图像增强处理,得到训练图片,包括以下步骤:

B1、对样本图片进行镜像操作;

B2、把经过镜像操作后的样本图片随机裁剪成65×65像素的中间图片;

B3、把每张中间图片分别减去全部样本图片的均值,得到训练图片。

具体地,在上述方法中,多尺度并行训练结构是一种用于深度学习的神经网络的新型构建模块,由多个多尺度并行训练模块构成,能够构建密集的块结构从而近似最优的稀疏结构,即将稀疏矩阵聚类为较为密集的子矩阵,从而达到提高计算性能又不增加计算量的目的;此外,多尺度并行训练结构还能够实现降维及投影的作用,通过对卷积神经网络中常用的3×3的卷积层与5×5的卷积层进行降维,以及对卷积神经网络中常用的3×3的池化层进行投影而使之被投影到较低维,从而能够达到减少计算量的目的。因此,本发明的基于卷积神经网络的织带边缘毛疵缺陷检测方法,通过利用具有多尺度并行训练结构的卷积神经网络对织带边缘进行毛疵缺陷的检测,不仅能够很好地提取织带边缘的毛疵缺陷特征,并且能够有效保持或减小卷积神经网络的计算量,从而提高计算性能。

其中,在步骤A1中利用摄像机采集织带图片时,由于容易出现因为摄像机抖动而造成织带图片发生倾斜的问题,因此在步骤A2中对发生倾斜的织带图片进行倾斜校正。此外,在步骤B3中,把每张中间图片分别减去全部样本图片的均值,由此得到的训练图片能够实现图像增强的目的。

其中,参照图1-图2,卷积神经网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一最大池化层、多尺度并行训练结构、第一平均池化层、dropout层和第一Softmax层。其中,多尺度并行训练结构包括依次连接的第一多尺度并行训练模块、第二多尺度并行训练模块、第三多尺度并行训练模块、第四多尺度并行训练模块和第五多尺度并行训练模块。第一多尺度并行训练模块、第二多尺度并行训练模块、第三多尺度并行训练模块、第四多尺度并行训练模块和第五多尺度并行训练模块均包括第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第二最大池化层和连接层,第四卷积层形成第一卷积组,第五卷积层和第六卷积层依次连接形成第二卷积组,第七卷积层、第八卷积层和第九卷积层依次连接形成第三卷积组,第二最大池化层和第十卷积层依次连接形成第四卷积组,第一卷积组、第二卷积组、第三卷积组和第四卷积组相互并联并共同输出到连接层。而在第五多尺度并行训练模块中,还包括第二平均池化层、第十一卷积层、全连接层和第二Softmax层,第二平均池化层、第十一卷积层、全连接层和第二Softmax层依次连接,第二平均池化层分别与第四卷积层、第五卷积层、第七卷积层和第二最大池化层相连接。另外,在上述的多尺度并行训练结构中,每一层的输出均连接有一个ReLU修正线性单元层。具体地,dropout层的dropout比例为0.4;全连接层的输出数量为2个。

在上述的多尺度并行训练结构中,dropout层所使用到的dropout技术,是应用于神经网络中的一种技术,在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃,dropout并不会修改代价函数而是修改深度网络本身。第一Softmax层和第二Softmax层中的Softmax函数,代表着一个回归模型,是应用于神经网络中的Logistic回归模型在多分类问题上的推广。ReLU修正线性单元层,通常应用于深度神经网络中作为神经元的激活函数,能够使得深度神经网络可以自行引入稀疏性。ReLU修正线性单元层的这一作用,等效于无监督学习的预训练,能够缩小无监督学习和监督学习之间的处理代沟。

其中,在每个多尺度并行训练模块之中,第四卷积层为尺寸为1×1的卷积层,第五卷积层为尺寸为1×1的卷积层,第六卷积层为尺寸为3×3的卷积层,第七卷积层为尺寸为1×1的卷积层,第八卷积层为尺寸为3×3的卷积层,第九卷积层为尺寸为3×3的卷积层,第十卷积层为尺寸为1×1的卷积层,第二最大池化层为尺寸为3×3的最大池化层;而在第五多尺度并行训练模块之中,第二平均池化层为尺寸为5×5的平均池化层,第十一卷积层为尺寸为1×1的卷积层。另外,在本发明的卷积神经网络之中,第一卷积层为尺寸为7×7的卷积层,第二卷积层为尺寸为1×1的卷积层,第三卷积层为尺寸为3×3的卷积层,第一最大池化层为尺寸为3×3的最大池化层,第一平均池化层为尺寸为7×7的平均池化层。

由于神经网络的层数的增加会带来计算量的增加,因此本发明中的卷积神经网络通过以下七点来有效增加织带边缘毛疵缺陷检测的效率,并且能够明显减少训练参数和大幅降低计算量:

(1)去除传统神经网络中的全连接层甚至卷积层,将其转换为稀疏连接,找出最优的局部稀疏结构并将其覆盖为近似的稠密组件来提高计算性能;本发明在用于进行织带边缘毛疵缺陷检测的卷积神经网络中嵌入了多尺度并行训练结构,该多尺度并行训练结构很好的实现了以上的思想,能够利用密集成分来近似最优的局部稀疏结构,即将稀疏矩阵聚类为较为密集的子矩阵,从而达到提高性能又不增加计算量的目的;

(2)使用较少的多尺度并行训练模块,本发明的多尺度并行训练结构中一共只使用了5个多尺度并行训练模块,而使用的该5个多尺度并行训练模块就能达到很好的检测效果,不仅大大减少了计算量,并且大幅提高了计算效率;

(3)使用多尺度训练。在多尺度并行训练中,分别使用1×1、3×3和5×5三种卷积核,还有一个3×3的池化层,由于尺寸不同的卷积核感受野不同,这样尺寸不同的卷积核就可以提取不同尺寸的特征,单层的特征能力提取就增强了,最后将三种卷积核的卷积层输出的特征进行级联,这样就意味着把不同尺度的特征进行融合,更有效地增加了神经网络的鲁棒性;在输入3×3和5×5的卷积层之前,先通过1×1的卷积层来降低输出的特征数量,通过这种方式来有效进行降维,并对3×3的池化层用1×1的卷积层进行投影,使其投影至更低维,使得计算参数大幅减少,有效地提高了计算效率。针对上述的效果,本发明中的每个多尺度并行训练模块之中,用尺寸为3×3的第八卷积层和第九卷积层来替换传统多尺度并行训练模块中的5×5的卷积层,这样做有三个作用:其一,输入通过两个3×3的卷积层相当于通过一个5×5的卷积层,利用这种方式,可以进一步提升网络的计算效率;其二,本发明用于进行织带边缘毛疵缺陷检测所使用的卷积神经网络的每一层输出都带有一个ReLU修正线性单元层,该ReLU修正线性单元层是一个非线性的激活层,其具有两个优点,首先ReLU修正线性单元层中的ReLU函数更加接近生物神经激活函数,具有单侧抑制性,其左侧状态是没有激活的,因此具有稀疏激活性,从而能使整个神经网络变得更加稀疏,从而达到提高计算速度的目的。因此多个小尺寸的卷积层要比一个大尺寸的卷积层有更多的非线性,从而能够使得最后的卷积神经网络更具鲁棒性;其三,3×3的卷积核是最小能够捕获上下左右和中心概念的尺寸;

(4)本发明的卷积神经网络的结构,随着层数以及多尺度并行训练模块个数的增加,尺寸分别为3×3和5×5的卷积核的比率也会逐层增加,因为网络越往后,特征越抽象,所以每个特征所涉及感受野必须要更大;

(5)由于在神经网络之中嵌入池化层能够有效提高检测率,因此在本发明的卷积神经网络之中,多处嵌入了池化层,并且在最后输出端使用尺寸为7×7的第一平均池化层替代传统的全连接层,因此有利于进一步有效地减少计算的参数量,从而有效提高了计算效率;

(6)由于本发明应用于织带边缘的毛疵缺陷检测,而由于织带边缘的毛疵缺陷较细小,因此提取到的训练图片的像素都较低,尺寸仅为65×65,因此在卷积神经网络的前几层中不使用池化层,并且前几个卷积层的步长均为一,能够更有效保持样本图片的局部特征,从而保证了不会出现像素被丢弃的问题;

(7)第五多尺度并行训练模块之中包括有第二Softmax层,折扣权重为0.4,因此损失会根据该折扣权重而叠加到总损失中,从而有助于前向传导梯度,避免梯度消失;在卷积神经网络的最后总的输出中,首先经过用于替换传统神经网络中的全连接层的第一平均池化层,从而进一步提高卷积神经网络的计算效率,接着经过dropout比例为0.4的dropout层,最后通过第一Softmax层来计算损失值以及该卷积神经网络的精确性。参照图3-图4,通过图3中的精确度曲线图和图4中的损失值曲线图,可知利用本发明的基于卷积神经网络的织带边缘毛疵缺陷检测方法,对织带边缘毛疵缺陷检测的精确度可达99.93%,而损失值仅为0.0001,因此,本发明的织带边缘毛疵缺陷检测方法达到了很高的检测正确率,并且最终训练出来的卷积神经网络的模型大小只有9M左右,能很好的应用到实时的织带工业自动检测中。

以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1