基于颜色相似性和位置聚集性的显著性织物疵点检测方法与流程

本发明属于图像处理与分析方法技术领域，具体涉及一种基于颜色相似性和位置聚集性的显著性织物疵点检测方法。

背景技术

在纺织工业生成中，确保织物的质量是至关重要的。据调查，存在疵点的织物价格会降低45％-65％。目前，织物疵点检测主要依靠人工视觉完成，由于视觉精度的限制和容易疲劳等主观因素的影响，检测的准确率会随着时间的推移而下降；疵点检测过程是一系列简单、枯燥、机械性的动作，长期进行会导致人精神压抑，严重影响检测结果；人工检测的速度为15-20m/min，存在效率低等问题。数据显示，人工视觉的方式只能检测出70％左右的疵点。因此，织物疵点的自动检测是近年来国内外学者共同关注和研究的热门之一。

自动化的机器视觉检测是一种基于图像处理和计算机视觉技术的检测趋势，自20世纪70年代以来，很多研究者将该技术应用在织物疵点检测工作中，织物疵点自动检测系统的应用具有重要的现实意义。首先，不会受工人情绪和身体能力的限制和影响，能够克服长期重复性工作给人工带来的困扰，具有稳定的检测结果；机器视觉系统的检测速度可达100m/min，具有检测效率高，成本低的优点。

经过多年研究，基于机器视觉的织物疵点检测技术取得了重大进展。现有的检测方法被分为5类：基于统计的方法、基于频谱的方法、基于模型的方法、基于稀疏表示的方法、基于深度学习的方法和基于显著性的方法。基于统计的方法主要通过使用不同的统计量来提取织物的统计特征，然后使用获得的特征参数区分疵点区域和非疵点区域，统计的方法能够有效的定位和检测与背景部分差异较大的疵点区域，而对于和背景较相似的疵点区域不能很好的检测；基于频谱的方法是通过频谱图将织物图像转换到频谱域进行分析，这类方法主要基于时频分析和多尺度分析，对于重复性的单一纹理和无图案的织物图像有很好的检测性能，但是检测结果容易受相关参数的影响；模型的方法通常训练一个特定的模型来估计织物的纹理参数，所以检测结果高度依赖所选择的模型参数，而有些复杂的纹理结构很难用合适的模型来描述，另外学习模型参数也很耗时；基于稀疏表示的方法通过训练一个小的字典，然后使用训练的字典和稀疏表示重建一个无疵点的图像，最后分割测试图像和重构的图像的差异来定位疵点区域，但是这类方法在训练过程中需要多次的迭代，会很大程度上增加计算的复杂度；基于深度学习的方法通过建立类似人脑的分层模型结构，对数据进行逐层的特征提取，建立模型，该方法在应用上较依赖于大规模的训练集，所以有限的疵点样本造成深度学习难以建立有效稳定的模型；基于显著性检测的方法不需要任何先验知识，能最大程度上接近于人类及动物的视觉注意机制，能够遵循人类视觉的注意的基本原则，发现图像中感兴趣或者有意义的目标，而对于一幅有疵点的图像，疵点被认为是图像中显著的区域，疵点区域的颜色特征和位置距离与正常区域有根本的不同。因此针对现有的大多数疵点检测的方法存在的检测问题，提出了基于一种使用颜色相似性和位置集聚性的显著性测度进行织物疵点检测的方法。

技术实现要素：

本发明的目的是提供一种基于颜色相似性和位置聚集性的显著性织物疵点检测方法，解决了现有检测方法过程复杂、对复杂纹理检测准确率不高的问题。

本发明所采用的技术方案是，基于颜色相似性和位置聚集性的显著性织物疵点检测方法，包括以下步骤：

步骤1，对输入的rgb织物图像进行颜色特征的提取，得到金字塔状图像；

步骤2，计算每一个颜色通道下步骤1中金字塔图像的颜色相似性，然后计算颜色特征的差异度和像素块的距离；

步骤3，根据步骤2得到的颜色特征的差异度和像素块的距离，定义像素块之间相异性；

步骤4，在步骤3的基础上，对于每一个像素块pi，利用k-近邻法定义其显著性缺陷值；引入多尺度的思想，更新显著性缺陷值，得到在不同尺度下的显著性缺陷均值；

步骤5，基于fov视觉原理设定一个固定的阈值，当步骤4得到的显著性缺陷均值大于阈值时，生成一个新的缺陷图，然后对新的缺陷图中每个像素点和离它最近邻的像素点之间的距离进行加权，得到像素点的缺陷度，完成显著性疵点区域的增强，融合所有显著性疵点图，获得最终的显著性疵点图。

本发明的特征还在于，

步骤1具体为：

首先将输入的红、绿、蓝rgb颜色空间的rgb织物图像处理成相同大小的图像，随后转换至ciel*a*b颜色空间，得到预处理图像；随后将预处理图像进行下采样，形成金字塔图像，大小分别为预处理图像大小的100％、50％、25％；

其中l分量表示像素的亮度，a表示从红色到绿色的范围，b表示从黄色到蓝色的范围。

步骤2具体为：

步骤2.1，对步骤1中的金字塔图像在每个颜色通道下分别进行有重叠的分块，使相邻分块之间重叠1个像素，提取每一分块分别在每个颜色通道下的颜色特征为列向量，得到在lab颜色空间中的147维不同列向量的金字塔颜色特征；

步骤2.2，设中心像素点为i的图像块记作pi，中心像素点为j的图像块记作pj，则像素块pi和像素块pj之间颜色特征的差异度dcolor(pi,pj)，为公式(1)，将dcolor(pi,pj)归一化至[0，1]；

其中参数表示颜色特征向量之间的欧氏距离；

步骤2.3，设ddistance(pi,pj)为像素块pi和像素块pj之间的欧氏距离，为公式(2)，

对ddistance(pi,pj)归一化至[0，1]。

步骤2.1中在进行颜色特征计算时，通常使用pca算法进行降维处理，具体为：

步骤2.1.1，将得到的在lab颜色空间中的147维的不同列向量的金字塔颜色特征，构成颜色特征矩阵x，并将x的每一行进行零均值化；

步骤2.1.2，计算步骤2.1.1中x的协方差矩阵其中m为维度数；

步骤2.1.3，求出步骤2.1.2中协方差矩阵的特征值及对应的特征向量，将特征向量按对应的特征值大小按行排列成矩阵，取前k行组成矩阵p；则y＝px即为降维到k维的数据。

步骤3中像素块之间相异性具体为：

其中，参数是一个调节位置距离的常系数且c＝3。

步骤4具体为：

步骤4.1，对每一个图像块pi，在所有的图像当中利用k-近邻法选择最相似的k个块作为参考集，则像素点i的显著性缺陷值为：

其中，其中k为最相似的块的个数且k＝64，r为尺度数，是尺度为r的第k个块；

步骤4.2，在步骤4.1的基础上，定义多尺度定义的缺陷值：

其中，表示在r＝4时，四个尺度下的相似块，rk表示

步骤4.3，结合公式(4)、(5)，则像素块pi的显著性疵点值为在不同尺度下的均值：

其中m＝4。

步骤5中缺陷度为：

其中dfoci(i)为像素点i和离最近邻的焦点之间的距离。

本发明显著性织物疵点检测方法的有益效果：

(1)本发明显著性织物疵点检测方法通过对输入的织物图像在lab颜色空间下进行处理，提取的是图像最基本的颜色特征，并计算像素块的直接距离，接着利用多尺度的思想进一步加强了疵点区域的显著性，有效的提升检测的准确性，实现快速、高效、性能更好地织物疵点检测；

(2)本发明显著性织物疵点检测方法与已有织物疵点检测方法相比较能够有效地简化算法过程，提升缺陷值的表征性能；

(3)本发明显著性织物疵点检测方法与现有织物疵点检测方法相比，能够检测出较微小的疵点，对于复杂纹理图像的织物疵点也有很好的检测性能。

附图说明

图1是本发明显著性织物疵点检测方法的工作流程图；

图2是本发明显著性织物疵点检测方法中颜色特征提取的工作流程图；

图3是本发明显著性织物疵点检测方法中多尺度融合的缺陷图的工作流程图；

图4是本发明显著性织物疵点检测方法中已有算法对复杂纹理的织物疵点图像在视觉上进行对比的结果图；

图5是本发明显著性织物疵点检测方法实施例中取不同尺寸的块进行对比的结果图；

图6是本发明显著性织物疵点检测方法实施例中在不同尺度和多尺度融合的结果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的主要思想是：通过疵点区域颜色与正常区域颜色相异以及疵点往往是集聚在一起的原则，首先将图像转换到lab颜色空间下进行下采样，形成金字塔图像；接着在每一个颜色通道下对图像进行有重叠的分块处理，提取所有像素块的颜色特征并计算颜色距离；然后计算所有像素块间的位置距离；最后结合颜色距离和位置距离得到缺陷值，利用多尺度的思想和融合的方法将所得到的缺陷图融合得到最终的检测结果图。

本发明的技术思路是：将输入的图像转换到ciel*a*b颜色空间，对转化后的图像进行下采样得到金字塔图像；对金字塔的所有图像在每一个颜色通道下有重叠的分块，提取所有块的颜色特征并计算颜色值之间的差异度；然后根据疵点区域往往是集聚在一起的原则，计算像素块之间的欧氏距离；随后结合颜色相异性和位置集聚性得到缺陷值；最后，引进多尺度来进一步减少非疵点像素的显著性，对多个尺度的缺陷值求均值，然后融合所有的缺陷图得到最后的缺陷结果图。

本发明基于颜色相似性和位置聚集性的显著性织物疵点检测方法，如图1所示，具体包括以下步骤：

步骤1，对输入的rgb织物图像进行颜色特征的提取，得到金字塔状图像。

如图2所示，首先将输入的红、绿、蓝rgb颜色空间的rgb织物图像处理成相同大小的图像，例如图像大小为[250，250]，随后转换至ciel*a*b颜色空间，得到预处理图像；随后将预处理图像进行下采样，形成金字塔图像，大小分别为预处理图像大小的100％、50％、25％，即图像大小为[250，250]、[125，125]、[63，63]；

其中l分量表示像素的亮度，a表示从红色到绿色的范围，b表示从黄色到蓝色的范围。

步骤2，计算每一个颜色通道下步骤1中金字塔图像的颜色相似性，然后计算颜色特征的差异度和像素块的距离。

步骤2.1，对步骤1中的金字塔图像在每个颜色通道下分别进行有重叠的分块，使相邻分块之间重叠1个像素，提取每一分块分别在每个颜色通道下的颜色特征为列向量，得到在lab颜色空间中的147维不同列向量的金字塔颜色特征；

在实际中，为了高效又准确的进行颜色特征的计算，通常采用pca算法对颜色特征进行降维处理，具体为：

步骤2.1.1，将得到的在lab颜色空间中的147维的不同列向量的金字塔颜色特征，构成颜色特征矩阵x，并将x的每一行进行零均值化；

步骤2.1.2，计算步骤2.1.1中x的协方差矩阵其中m为维度数；

步骤2.1.3，求出步骤2.1.2中协方差矩阵的特征值及对应的特征向量，将特征向量按对应的特征值大小按行排列成矩阵，取前k行组成矩阵p；则y＝px即为降维到k维的数据。

基于人类视觉注意机制的原则，疵点区域的颜色特征与正常区域的颜色特征有很大的差异，当认为一个像素点是疵点时，主要观察以它为中心的像素块和图像中其他像素块之间的颜色差异，而这种颜色之间的差异度通过计算块与块间的欧氏距离来获得；

步骤2.2，设中心像素点为i的图像块记作pi，中心像素点为j的图像块记作pj，则像素块pi和像素块pj之间颜色特征的差异度dcolor(pi,pj)，为公式(1)，通过将像素点除以255将dcolor(pi,pj)归一化至[0，1]；

其中参数表示颜色特征向量之间的欧氏距离；

假设以像素点i为中心的区域pi和其他任意块都不同，则认为像素点i是显著的疵点，dcolor(pi,pj)用表示像素块pi和pj之间颜色特征的差异度。当以i为中心的像素块和任意以j为中心的像素块之间的dcolor(pi,pj)都很大时，就认为像素点i是疵点。

根据人类视觉注意的原则，即视觉形式具有一个或几个中心的形式组织，认为显著的疵点区域往往是聚集在一起的，那么就可以通过比较块与块之间的直接距离来判断显著的疵点区域。设ddistance(pi,pj)为像素块pi和pj之间的欧氏距离，并进行归一化，当像素块pi和同其相似的块之间的距离特别近时，则认为pi是显著的疵点区域；当像素块pi和同其相似的块之间的距离较远时，则认为pi是非显著的疵点区域；

人类视觉注意原则为如下：局部底层的考虑因素，包括对比度和颜色；全局考虑，保持偏离准则的同时抑制住频繁出现的特征；视觉组织法则，即视觉形式具有一个或几个重心的形式组织；

步骤2.3，设ddistance(pi,pj)为像素块pi和像素块pj之间的欧氏距离，为公式(2)，

对ddistance(pi,pj)归一化至[0，1]。

步骤3，为了度量一个像素的缺陷值，根据步骤2得到的颜色特征的差异度和像素块的距离，定义像素块之间相异性，表示为：

其中，参数是一个调节位置距离的常系数且c＝3；

通过式(3)看出：该相异性与颜色特征的差异性成正比，与位置距离成反比，即当以像素i为中心的块pi的颜色特征远不同其他像素块并且该块的位置距离特别近时，比较的块与块之间d(pi,pj)的越大，也就越不相似，而像素点i就认为是显著的疵点。

步骤4，在步骤3的基础上，对于每一个像素块pi，利用k-近邻法定义其显著性缺陷值；如图3所示，引入多尺度的思想，更新显著性缺陷值，得到在不同尺度下的显著性缺陷均值。

步骤4.1，在实际应用中，如果最相似的块和pi之间的差异度都很大时，那么可以知道所有的块均与pi之间有很大的差异，对每一个图像块pi，在所有的图像当中利用k-近邻法选择最相似的k个块作为参考集，则像素点i的显著性缺陷值为：

其中，其中k为最相似的块的个数且k＝64，r为尺度数，是尺度为r的第k个块；

步骤4.2，为了获得更可靠的结果，在织物图像中，由于正常区域像素块在多尺度的情况下可能有许多类似的块，比如大面积均匀的区域，而缺陷区域只在几个尺度上表现出相似性，因此，为了加强正常区域和疵点区域的对比度，采用多尺度来减少非疵点区域的显著性；引入多尺度的思想，在步骤4.1的基础上，定义多尺度定义的缺陷值：

其中，表示在r＝4时，四个尺度下的相似块，rk表示

得到各个尺度的每个像素块的缺陷值，将所有像素块的缺陷值按照[250，250]的图像尺寸调整，即为生成的疵点图；

步骤4.3，结合公式(4)、(5)，则像素块pi的显著性疵点值为在不同尺度下的均值：

其中m＝4；

调整为[250，250]的大小，为最终的疵点图。

步骤5，基于fov视觉原理设定一个固定的阈值(0.8)，当步骤4得到的显著性缺陷均值大于阈值时，生成一个新的缺陷图，然后对新的缺陷图中每个像素点和离它最近邻的像素点之间的距离进行加权，得到像素点的缺陷度，完成显著性疵点区域的增强，融合所有显著性疵点图，得到织物检测的最终疵点图；

缺陷度为：

其中dfoci(i)为像素点i和离最近邻的焦点之间的距离。

实施例

以下通过仿真实验验证本发明的检测方法。

仿真内容：

一、在使用相同织物图像的情况下，采用对比实验形式，选择基于谱残差的方法、基于低秩稀疏表示的方法和最小二乘回归的方法与本发明仿真结果进行比较，以验证本发明的有效性。三个具有代表性的织物疵点检测方法分别为：①sr方法；②low-rank方法；③glsr方法，仿真结果如图4所示：基于sr的方法可以定位疵点区域的位置，但是得到的结果对比度较差；基于low-rank方法方法能够有效检测大部分疵点，但是结果显示噪声影响较大；基于glsr的方法对无图案织物和灰度图的检测效果很好，而对于复杂图案织物不能有效检测；相比上述方法，本发明提出的检测算法对于复杂图案织物有更好的检测结果，而且具有较好的鲁棒性和稳定性。

二、采用具有不同大小的块的织物图像进行仿真实验，以验证本发明在块的大小不同时的检测性能，同时给出显著性缺陷值和cpu运行时间的评价值。

仿真实验：

(1)对一幅输入的织物图像，分别采用块的大小为3×3，7×7和11×11进行有重叠的分块，提取特征，计算显著性的缺陷值，得到疵点图，结果如图5所示：第二列是输入的疵点图像；第三列是大小为3×3分块的检测结果；第四列是大小为7×7分块的检测结果；第五列是大小为11×11分块的检测结果。

在图5中，各个图像的显著性缺陷值和cpu运行时间的评价值具体为：第二列中从第a行至第e行分别是输入的断纱、脱纬、带纱、经结头、油污疵点图像；第三列3×3从上到下(saliencyvalues：0.048、0.051、0.056、0.053、0.044；cputime：0.73、0.71、0.71、0.72、0.57)；第四列7×7从上到下(saliencyvalues：0.149、0.137、0.154、0.150、0.126；cputime：1.41、1.18、1.17、1.18、1.04)；第五列11×11从上到下(saliencyvalues：0.252、0.227、0.251、0.242、0.208；cputime：2.42、2.66、2.40、2.68、3.03)。

从图5的仿真结果得到：第三列在检测时，显著性缺陷值较小，cpu的运行时间也较小，但是视觉得检测结果较为模糊；第五列在检测时，显著性的缺陷值较大，相应的cpu运行时间也较长；与第四列相比，第三列与第五列的检测结果较为准确，能最大程度的切近疵点，显著性缺陷值也较大，运行时间也较合适，检测的结果在视觉上也更为清晰，而且鲁棒性也比较好；这是由于本发明提取的是疵点图像的像素块特征，并利用提取的特征进行颜色差异度的计算，然后结合像素块之间的距离计算显著性缺陷值，所有块的尺寸越大，得到的显著性缺陷值越大，消耗的时间也就越久，而且视觉上也较模糊，为了平衡显著性缺陷值和cpu运行时间，实验中采用7×7的块大小。

三、采用具有不同尺度的织物图像进行仿真实验，以验证本发明在采用多尺度时的检测性能。

仿真实验：

如图6所示，将输入的五幅疵点图像，分别在单一尺度下(100％，80％，50％，30％)进行显著性缺陷的检测，然后融合所有尺度下的显著性缺陷图。

结果如图6所示：第二列是输入的疵点图像；第三列是尺度为原图像的100％的结果；第四列是尺度为原图像的80％的结果；第五列是尺度为原图像的50％的结果；第六列是尺度为原图像的30％的结果；第七列是融合所有尺度的结果。

从图6的视觉结果可直观看出：与其它单一尺度的缺陷图相比，本发明得到的多尺度融合的检测结果更为清晰，疵点区域的面积大小和细节也更为贴近输入图像的疵点；从检测结果可以看出，与非疵点区域的对比度也更明显。

上述试验结果表明，本发明与已有的疵点检测方法相比，所得到的显著性缺陷值有更强的表征能力，得到的缺陷图有更好的表现效果，具有更强的检测能力，能够检测出微小和复杂织物纹理的疵点，具有很好的鲁棒性；同时，本发明检测疵点在客观评价上也展示出其与其他疵点检测方法相比更为巨大的优势和潜力。

针对实际应用中微小疵点和复杂纹理的织物疵点，本发明以微小疵点和复杂纹理的疵点为研究对象，利用疵点颜色相异于非疵点区域颜色和疵点区域往往是集聚在一起的原则，提取图像块的颜色特征并计算块与块间的欧氏距离得到像素点的显著值，结合多尺度的思想对微小疵点进行加强，融合所有颜色通道下生成的缺陷图得到最终的检测结果图，实现快速、高效、性能更好地织物疵点检测。