基于深度特征和NTV-RPCA的织物疵点检测方法与流程

本发明涉及纺织品图像处理的技术领域，特别是指一种基于深度特征和ntv-rpca的织物疵点检测方法。

背景技术：

在纺织品生产制造过程中，疵点的出现会极大影响纺织品的质量和价值，因此织物疵点检测在纺织品生产制造过程中是不可或缺的环节。传统疵点检测工作主要由人工完成的，检测精度和可靠性易受视觉疲劳、主观意识影响的问题。随着图像处理技术的发展，基于机器视觉的自动织物疵点检测方法已经成为研究的热点。

根据织物图像背景纹理的不同特点，现有的疵点检测方法可大致分为两种：针对纹理简单的非模式织物图像检测方法和针对纹理复杂的模式织物图像检测方法。针对非模式织物图像的检测方法包括：基于统计的方法、基于光谱分析的方法、基于模型的方法和基于字典学习的方法，这些方法对具有平纹和斜纹纹理的非模式织物图像有较好的检测性能，但由于模式织物的背景纹理复杂，上述方法对模式织物图像的检测性能不佳。针对模式织物图像的检测方法包括：黄金图像减法(gis)、图像分解法和基于基元的方法等，然而这些复杂的模式织物疵点检测方法大多采用模板匹配技术对疵点进行定位，并且是在有监督下执行的，检测精度取决于精确的对准和选择合适的模板。

随着深度学习技术的发展，已经有学者开始尝试将卷积神经网络cnn应用到织物疵点分类和疵点定位领域。cui等提出了一种卷积神经网络mc-cnn来实现织物疵点的分类；liu等提出了一种改进的ssd目标检测方法，可用于定位小尺寸织物疵点。由于基于cnn的分割任务需要大量具有像素级标注的图像样本，而目前尚未有包含充足数据量的公开织物图像数据库，这一问题制约着基于深度学习的织物疵点检测方法的发展。实际上，基于cnn的视觉任务取得较高的检测性能，这得益于cnn可以从织物图像数据中自动学习特征，此外，其提取的深度特征优于传统的手工特征描述子，具有很高的通用性和可迁移性。

低秩分解模型又称为鲁棒主成分分析rpca，可将数据矩阵分解为跨越多个低秩子空间的冗余部分和偏离低秩结构的稀疏部分。因此，该模型能够同时恢复矩阵的低维子空间并检测离群点，已成功应用于目标检测和分割等领域。尽管织物图像背景纹理多样，疵点类型复杂多变，但其整体上还是由特定图案重复叠加构成，具有高度的视觉冗余性，通常可以认为背景处于低秩子空间中，而其中的疵点打破了局部的低秩性，通常可以认为疵点是显著稀疏的，这一现象很好地符合了低秩分解显著性检测模型。目前，已有相关学者将低秩分解模型用于疵点检测。李春雷等提取织物图像的hog特征矩阵，然后通过低秩分解模型进行背景和疵点的分离；cao等提取织物图像的局部纹理特征矩阵，然后通过融合了局部先验信息的低秩分解模型来提升背景和疵点的分离效果。

目前基于低秩分解模型的织物疵点检测方法虽然取得了一定的检测效果，但检测精度仍有提升的空间，仍有一些问题未得到解决：1)织物图像纹理复杂多样、疵点形态各异，但现有织物图像表征方法仍主要采用人工设计的提取方法，往往只能描述图像的某一方面特征，弱化甚至忽略了其它方面的特征；2)织物图像易受到噪声污染，现有模型极易将其中的稀疏噪声分解到稀疏矩阵(疵点显著图)中，影响检测效果。

技术实现要素：

针对现有的织物疵点检测方法存在检测精度较低和易受噪声污染的技术问题，本发明提出了一种基于深度特征和ntv-rpca的织物疵点检测方法，利用深度网络vgg16提取多层次深度特征来提升织物图像的表征能力，在低秩分解模型中引入一个非凸全变差正则项来进一步限定稀疏疵点部分，以提高疵点的检测精度。

本发明的技术方案是这样实现的：

一种基于深度特征和ntv-rpca的织物疵点检测方法，其步骤如下：

步骤一：特征提取：将织物图像输入深度网络vgg16中，利用深度网络vgg16中的各个卷积层分别提取织物图像对应的多层次深度特征，根据每一层次深度特征建立织物图像对应的深度特征图；

步骤二：图像分块：对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；

步骤三：模型构建及求解：根据非凸全变差正则项和低秩分解模型构建ntv-rpca模型，并采用admm算法对包含特征矩阵的ntv-rpca模型进行交替迭代搜索获得最优的稀疏矩阵；

步骤四：显著图生成及融合：根据步骤三中求得的稀疏矩阵生成多个显著图，再采用低秩分解模型对多个显著图进行融合，获得织物图像的最终显著图；

步骤五：阈值分割：采用自适应阈值分割方法对最终显著图进行阈值分割，定位出织物图像的疵点位置。

所述步骤一中利用深度网络vgg16获得织物图像的多层深度特征图的方法为：深度网络vgg16包含13个卷积层，织物图像通过深度网络vgg16生成对应的13组深度特征图，每组深度特征图包含h维特征图，特征图的大小为m×m；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xih,l]，其中，l＝1,2，…，13，h＝1,2,…,h，i＝1,2,…,m,m+1,…,m×m。

所述步骤二中的均匀重叠分块的方法为：将大小为m×m×h的第l组深度特征图均匀重叠分为m×m×h的图像块图像块重叠的步长为n，其中，h为每组深度特征图包含的特征图的数目，n为图像块的数目，且m为图像块的大小。

所述第l组深度特征图对应的特征矩阵的计算方法为：其中，为图像块rjh,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。

所述步骤三中建立ntv-rpca模型的方法为：

其中，fl为第l组深度特征图的特征矩阵，ll为特征矩阵fl分解后的低秩矩阵，sl为特征矩阵fl分解后的稀疏矩阵，||ll||*为低秩矩阵ll的核范数，||sl||1为稀疏矩阵sl的l1范数，||sl||ntv为稀疏矩阵sl的非凸全变差正则项，β、γ均为特征矩阵的平衡系数；

所述ntv-rpca模型是凸优化问题，引入辅助变量jl＝sl，则公式(1)可转化为公式(2)：

通过最小化下面的增广拉格朗日函数对公式(2)进行求解：

其中，y1和y2均为拉格朗日乘子，表示两向量的内积，表示frobenius范数，μ>0为一个惩罚项。

所述采用admm算法交替迭代搜索获得最优的稀疏矩阵的求解方法为：

s1：初始化：低秩矩阵稀疏矩阵非凸全变差正则项μmax＝μ⁰10⁷，ρ＝1.5，tol＝3e-4，迭代次数k＝0；

s2：更新低秩矩阵ll：保持其他变量不变，则第k+1次迭代中矩阵为：

s3：更新稀疏矩阵sl：保持其他变量不变，则第k+1次迭代中矩阵为：

s4：更新非凸全变差正则项jl：保持其他变量不变，则第k+1次迭代中矩阵为：

s5：更新拉格朗日乘子项y1、y2和惩罚项μ：

s6：迭代次数k＝k+1，循环步骤s2-s5，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵为第l组深度特征图的最优的稀疏矩阵

所述采用rpca模型对多个显著图进行融合，获得织物图像的显著图的方法为：对于第l组深度特征图的最优的稀疏矩阵图像块rjh,l的显著度为：根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml；

将13个不同层次的显著图分别展开为一个行向量{ml},l＝1,…,13，并将它们堆积成一个矩阵：

由于是对同一织物图像的疵点检测，所以矩阵满足低秩性，通过低秩矩阵分解模型计算矩阵中的低秩矩阵s：

低秩矩阵分解模型的最优解s的某一行sl表示对应层次显著图的不一致性，每个层次的显著图ml被赋予权重：

织物图像的最终显著图为：

所述步骤五中的采用自适应阈值分割方法对最终显著图进行阈值分割的实现方法为：

其中，p和q为像素点位置，为融合后的显著图，μ和σ分别为显著图m(p,q)中像素值的均值和标准差，c为常数。

本发明的有益效果：首先采用深度网络vgg16提取织物图像的多层次深度特征图，然后采用重叠均匀分块对各个特征图进行分块处理，以减少计算量，构造ntv-rpca模型，采用交替方向乘子算法(alternatingdirectionmethodofmultipliers，admm)将织物图像分解为背景部分和疵点部分，根据空间对应关系，由分解出的稀疏疵点部分得到对应的疵点显著图，并采用低秩分解模型对多层次显著图进行融合，最后采用阈值分割算法对融合的显著图进行分割，以定位疵点位置。本发明采用深度网络vgg16表征织物图像复杂纹理信息，以提升图像表征能力；采用ntv-rpca模型来实现织物背景和疵点分离的同时，可以有效地消除图像中的噪声影响，并提高最优解求解精度；采用低秩分解模型对多层次疵点显著图进行融合，使检测结果具有更高的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2(a)～(h)为本发明具体实施示例1中常见的原始织物图像。

图3(a)～(h)分别为图2(a)～(h)基于低秩矩阵恢复方法生成的显著图。

图4(a)～(h)分别为图2(a)～(h)基于hog和低秩分解方法生成的显著图。

图5(a)～(h)分别为图2(a)～(h)基于先验知识指导的最小二乘回归方法生成的显著图。

图6(a)～(h)分别为图2(a)～(h)基于本发明方法对应生成的显著图。

图7(a)～(h)分别为对图6(a)～(h)中的显著图进行阈值分割得到的结果图。

图8为本发明具体实例2中，本发明与其他3种不同方法的roc曲线的比较图，其中，(a)为盒子型模式织物，(b)为点型模式织物，(c)为星型模式织物。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度特征和ntv-rpca的织物疵点检测方法，其步骤如下：

步骤一：特征提取：将织物图像输入深度网络vgg16中，利用深度网络vgg16中的各个卷积层分别提取织物图像对应的多层次深度特征，根据每一层次深度特征建立织物图像对应的深度特征图。

所述织物图像的大小为256×256，深度网络vgg16包含13个卷积层，织物图像通过深度网络vgg16生成对应的13组深度特征图，每组深度特征图包含h维特征图，将h维特征图的大小统一调整为m×m，m＝256；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xih,l]，其中，l＝1,2，…，13，h＝1,2,…,h，i＝1,2,…,m,m+1,…,m×m。

步骤二：图像分块：对每一层次深度特征图进行均匀重叠分块，并分别计算每一层次深度特征图对应的特征矩阵。

将大小为m×m×h的第l组深度特征图均匀重叠分为m×m×h的图像块图像块重叠的步长为n，其中，h为每组深度特征图包含的特征图的数目，n为图像块的数目，且m为图像块的大小；m＝16，n＝8，则n＝961。

所述第l组深度特征图对应的特征矩阵的计算方法为：其中，为图像块rjh,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。

步骤三：模型构建及求解：根据非凸全变差正则项和低秩分解模型构建ntv-rpca模型，并采用admm算法对包含特征矩阵的ntv-rpca模型进行交替迭代搜索最优的稀疏矩阵。

通过提取织物图像的深度特征，可以使背景图像块处于一个低秩空间，稀疏疵点偏离该低秩空间，通过低秩分解模型可以实现疵点与背景的有效分离，达到检测疵点目的；为了有效地消除织物图像中的噪声影响，并提高模型求解精度，本发明在低秩分解模型的基础上，将低秩约束、稀疏约束和非凸全变差正则项进行整合，提出了基于非凸全变差正则项的低秩分解模型ntv-rpca：

其中，fl为第l组深度特征图的特征矩阵，ll为特征矩阵fl分解后的低秩矩阵，sl为特征矩阵fl分解后的稀疏矩阵，||ll||*为低秩矩阵ll的核范数，||sl||1为稀疏矩阵sl的l1范数，||sl||ntv为稀疏矩阵sl的非凸全变差正则项，β、γ均为特征矩阵的平衡系数。

所述ntv-rpca模型是凸优化问题，为了便于求解，引入辅助变量jl＝sl，则公式(1)可转化为公式(2)：

通过最小化公式(3)的增广拉格朗日函数对公式(2)进行求解：

其中，y1和y2均为拉格朗日乘子，表示两向量的内积，表示frobenius范数，μ>0为一个惩罚项。

步骤四：显著图生成及融合：根据步骤三中求得的稀疏矩阵生成多个显著图，再采用rpca模型对多个显著图进行融合，获得织物图像的显著图。

所述采用admm算法交替迭代搜索获得最优的稀疏矩阵的求解方法为：

s1：初始化：低秩矩阵稀疏矩阵非凸全变差正则项μmax＝μ⁰10⁷，ρ＝1.5，tol＝3e-4，迭代次数k＝0；

s2：更新低秩矩阵ll：保持其他变量不变，则第k+1次迭代中矩阵为：

s3：更新稀疏矩阵sl：保持其他变量不变，则第k+1次迭代中矩阵为：

s4：更新非凸全变差正则项jl：保持其他变量不变，则第k+1次迭代中矩阵为：

s5：更新拉格朗日乘子项y1、y2和惩罚项μ：

s6：迭代次数k＝k+1，循环步骤s2-s5，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵为第l组深度特征图的最优的稀疏矩阵

因此，通过ntv-rpca模型求得的织物图像对应的13组深度特征图的最优的稀疏矩阵s^*为：

所述采用rpca模型对多个显著图进行融合，获得织物图像的最终显著图的方法为：通过ntv-rpca模型将深度特征矩阵分解出一个对应疵点的稀疏矩阵s^*，对于第l组深度特征图的最优的稀疏矩阵图像块rjh,l的显著度为：m(rj,l)的值越大表示该图像块属于疵点的概率越大，根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml。因此，可得到13个不同层次的显著图，为了得到一个包含较全面特征信息的显著图，将对这13个不同层次的显著图进行融合获得最终显著图。

将13个不同层次的显著图分别展开为一个行向量{ml},l＝1,…,13，并将它们堆积成一个矩阵：

由于是对同一织物图像的疵点检测，所以矩阵满足低秩性，通过低秩矩阵分解模型计算矩阵中的低秩矩阵s：

低秩矩阵分解模型的最优解s的某一行sl表示对应层次显著图的不一致性，每个层次的显著图ml被赋予权重：

因此，织物图像对应的最终显著图为：

步骤五：阈值分割：采用自适应阈值分割方法对最终显著图进行阈值分割，定位出织物图像的疵点位置。

所述采用自适应阈值分割方法对最终显著图进行阈值分割的实现方法为：

其中，p和q为像素点位置，为融合后的显著图，μ和σ分别为显著图m(p,q)中像素值的均值和标准差，c为常数，c的取值根据待检测织物类型而改变。

仿真与验证：

具体实例1中，从非模式织物图像库tilda中随机挑选几类常见的疵点图像，如图2(a)～(b)所示；从香港大学模式织物图像数据库中随机挑选几类常见的疵点图像，疵点图像包括盒子型、星型、点型等，图片大小均为256pixel×256pixel，如图2(c)～(h)所示。图像块大小为16pixel×16pixel，选取的平衡因子γ为0.0016，平衡因子β为0.01。

图3(a)～(h)为采用文献[1]([1]caoj,zhangj,wenz,etal.fabricdefectinspectionusingpriorknowledgeguidedleastsquaresregression[j].multimediatoolsandapplications,2017,76(3):4141-4157.)的方法生成的显著图。由图3(a)～(h)可知，基于先验知识指导下的最小二乘回归(priorknowledgeguidedleastsquaresregression，pglsr)方法极易受到图像背景纹理的影响，无法检测模式织物图像的疵点。图4(a)～(h)为采用文献[2]([2]lic,gaog,liuz,etal.fabricdefectdetectionalgorithmbasedonhistogramoforientedgradientandlow-rankdecomposition[j].jtextileres,2017,38(3):153-158.)的方法生成的显著图，由图4(a)～(h)可知，基于方向梯度直方图(histogramoforientedgradient，hog)方法可以检测到大部分类型的织物疵点，但出现了严重的疵点不连续情况。图5(a)～(h)为采用文献[3]([3]shenx,wuy.aunifiedapproachtosalientobjectdetectionvialowrankmatrixrecovery[c]//2012ieeeconferenceoncomputervisionandpatternrecognition.ieee,2012:853-860.)的方法生成的显著图，由图5(a)～(h)可知，统一低秩矩阵恢复(unifiedlowrankmatrixrecovery，ulr)方法可以检测出所有类型的疵点，但其检测结果中丢失了大量的疵点轮廓信息，而轮廓信息对疵点的后续修补工作是极有参考价值的。图6(a)～(h)为本发明生成的显著图，图7(a)～(h)为对图6(a)～(h)显著图进行阈值分割的结果。本发明的方法可以检测出多种织物图像，不仅可以很好的定位出疵点位置，而且较好地还原了疵点轮廓，并且类似于图2(e)这种疵点占据整幅图像大部分的情况，现有的疵点检测一直难以有效地检测，但本发明的方法可以较好的检测出这类疵点。

具体实例2中，数据库为香港大学模式织物图像数据库，包括星型、盒子型及点型三种模式织物，盒子型包括26幅疵点图像，星型包括25幅疵点图像，点型包括30幅疵点图像，根据疵点图像及其对应的真值图，绘制三种模式织物的roc曲线。图8为本发明方法(ours)和文献[1](pglsr)、文献[2](hog)、文献[3](ulr)方法的roc曲线定量分析结果。由图8可知，在三种织物类型的roc曲线图中，本发明方法ours的曲线下面积auc是最大的，本发明所提方法的检测结果最优。说明了本发明所提方法的有有效性，可以很好的处理复杂纹理的模式织物图像。

综上所述，本发明提出采用深度网络提取织物图像纹理特征，并构建ntv-rpca模型进行显著度计算的织物疵点检测方法，具有较高的鲁棒性和检测率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内。