基于类格图案及其Gabor特征的纺织品瑕疵检测方法与流程

本发明涉及一种基于类格图案及其gabor特征的纺织品瑕疵检测方法。

背景技术：

传统的纺织品瑕疵人工识别准确率只有60-75％(k.srinivasan,p.h.dastoor,p.radhakrishnaiah,etal..fdas:aknowledge-basedframeworkforanalysisofdefectsinwoventextilestructures,j.text.inst.83(1992)431–448.)，机器自动识别纺织品瑕疵的方法具有实际应用需求。平坦纺织品表面的数字图像采样(以下简称纺织品图像)属于二维纹理，二维纹理已被证明可根据17种壁纸群(wallpapergroup)定义的图案排列方法生成(k.srinivasan,p.h.dastoor,p.radhakrishnaiah,etal..fdas:aknowledge-basedframeworkforanalysisofdefectsinwoventextilestructures,j.text.inst.83(1992)431–448.)，用于生成二维纹理的图案称为格(lattice)，格的内部图案称为motif。多数纺织品瑕疵自动检测方法只能处理壁纸群中p1类型的纺织品图像(h.y.t.ngan,g.k.h.pang,n.h.c.yung.automatedfabricdefectdetection—areview,imageandvisioncomputing29(7)(2011)442–458.)，仅有少数方法能处理p1类型以外的纺织品图像，例如基于小波预处理的基准图像差分方法(wavelet-pre-processedgoldenimagesubtraction，以下简称wgis，出自文献：h.y.t.ngan,g.k.h.pang,n.h.c.yung,etal.,waveletbasedmethodsonpatternedfabricdefectdetection,patternrecognit.38(4)(2005)559–576)，共生矩阵方法，布林带方法(bollingerbands，以下简称bb，出自文献：h.y.t.ngan,g.k.h.pang,novelmethodforpatternedfabricinspectionusingbollingerbands,opt.eng.45(8)(2006)087202-1–087202-15)，规则带方法(regularbands，以下简称rb，出自文献：h.y.t.ngan,g.k.h.pang,regularityanalysisforpatternedtextureinspection,ieeetrans.autom.sci.eng.6(1)(2009)131–144)，elo评估方法(eloratingmethod，以下简称er，出自文献c.s.c.tsang,h.y.t.ngan,g.k.h.pang,fabricinspectionbasedontheeloratingmethod,patternrecognit.51(2016)378–394.)等。尽管这些方法可以处理p1以外的纺织品图像，但它们的计算方法多是建立在基于人工选择的类似格的图案(以下简称类格图案)之上。例如wgis要求人工选择类格图案的尺寸和纹理，bb，rb和er要求人工定义类格图案的尺寸。这些先验知识在一定程度上降低了机器识别纺织品瑕疵的自动化程度。

技术实现要素：

本发明要解决的技术问题是：为了解决现有纺织品瑕疵自动检测方法仍基于人工选择或人工定义，自动化程度不高的不足，本发明提供一种基于类格图案及其gabor特征的纺织品瑕疵检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于类格图案及其gabor特征的纺织品瑕疵检测方法，包括以下步骤：

一种基于类格图案及其gabor特征的纺织品瑕疵检测方法，包括以下步骤：

输入灰度化的纺织品图像；

校准图像：使用hough变换确定理想校准角度，以理想校准角度旋转图像得到校准后图像；

类格图案分割：分割校准后图像以产生类格图案，类格图案满足：相对于纺织品图像的行和列，类格图案按图像行的方向横向排列，并按列的方向纵向排列；在形态成分分析方法的纺织品图案卡通成分ic中，类格图案具有几何形状并与背景像素在灰度上有显著差异；

距离计算：将类格图案与gabor滤波器组的滤波进行卷积，对卷积结果降维得到一维投影并计算其能量和振幅，根据能量和振幅计算特征向量；计算一维投影之间的车贝雪夫距离，挑选每行类格图案的典型无瑕疵类格图案，根据典型无瑕疵类格图案的特征向量计算理想特征向量；每个类格图案特征向量与理想特征向量间的车贝雪夫距离为所提取的特征；和

直方图分析：分析距离计算步骤中得到的基于特征向量的车贝雪夫距离直方图，获取表示有瑕疵的像素索引集合。

具体步骤为：

校准图像步骤：使用canny边缘检测生成输入图像的边缘图像，使用hough变换将边缘图像投影至参数空间，获取参数空间中的峰值所对应直线的斜率，根据斜率所对应角度的负值旋转输入图像并计算其背景像素的横向与纵向投影和分别计算横向与纵向投影的熵和根据熵阈值ex和ey确定理想校准角度该角度所对应的旋转图像即为校准后图像；

类格图案分割步骤：使用形态学成分分析方法计算校准后图像的卡通成分ic，使用阈值fc·max(ic)二值化卡通成分ic得到二值图像itc，分别按行列索引顺序排列itc中每行和每列的背景像素数，即横向与纵向投影和分别找出和的峰值和使用自适应hc算法对和进行聚类，根据聚类中心筛选和根据和计算构成稳定行间距的最长连续行索引的集合sh以及构成稳定列间距的最长连续列索引的集合sv，并扩展sh和sv分别囊括itc的大部分行索引和列索引；以sh和sv在itc中分别对应的行列为分界，可将itc分割为矩形的类格图案(其中，i＝1,2…|sh|-1，j＝1,2…|sv|-1)；

距离计算步骤：使用gabor滤波器组与类格图案卷积并计算一维卷积投影gi,j|s,θ，根据一维卷积投影gi,j|s,θ的能量和振幅构建特征向量vi,j；其中，i＝1,2…|sh|-1和j＝1,2…|sv|-1分别是类格图案以类格图案为单位的行与列索引；表示尺度参数，表示角度参数；计算类格图案与第i行类格图案之间基于一维卷积投影gi,j|s,θ的车贝雪夫距离，结果保存为矩阵的第j行，根据矩阵计算第i行类格图案的典型无瑕疵类格图案的意思是：对于固定i，s，θ，然后对于特定的j，计算gi,j|s,θ与第i行所有类格图案一维投影的距离，这些距离保存为的第j行，这一行表示特定的j所对应的类格图案与第i行中其它类格图案基于一维投影的距离，而整个表示第i行所有类格图案一维投影之间的距离；计算第i行类格图案的典型无瑕疵类格图案与第i行类格图案之间基于特征向量vi,j的车贝雪夫距离，结果保存为矩阵的第i行，根据矩阵计算第i行的典型无瑕疵类格图案的距离之和di；根据得到每行类格图案的计算所对应特征向量的距离，找出整幅图的理想特征向量v^*；步骤9和步骤8的距离计算区别在于步骤8是计算一维投影的距离，而步骤9则是特征向量之间的距离。根据距离之和di筛选第i行的典型无瑕疵类格图案基于筛选结果计算理想特征向量v^*；其中，理想特征向量v^*为s^*的均值；为每行的典型类格图案的特征向量，i为类格图案行索引；其中表示按i的索引顺序进行连接；di为距离向量d中的第i个元素，表示与所有典型图案的车贝雪夫距离之和，典型图案是指每行的典型无瑕疵类格图案；计算特征向量vi,j和理想特征向量v^*的车贝雪夫距离，结果保存为矩阵中索引为(i,j)的元素其中i为类格图案行索引，j为类格图案列索引；

直方图分析步骤：计算矩阵的直方图基于距离阈值d^*和直方图计算缺口值t′和断崖值t″，根据缺口值t′和断崖值t″近似表示真实阈值t^*；所有对应车贝雪夫距离真实阈值t^*的类格图案被标记为有瑕疵的类格图案输出其中i为类格图案行索引，j为类格图案列索引。

本发明的有益效果是，本发明的基于类格图案及其gabor特征的纺织品瑕疵检测方法，基于各向同性类格图案分割方法和gabor特征距离计算方法，能够从纹理相同但角度各异的纺织品图像中自动分割类格图案，针对类格图案的基于gabor特征提取和距离比较进行瑕疵识别，分析基于照明光源下平坦纺织品表面的数字图像像素灰度信息，自动定位纺织品表面瑕疵的计算方法。本发明特别适用于自动识别在稳定照明光源下采集的纹理相同但角度各异的纺织品平坦表面的数字图像中的纺织品表面瑕疵。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的步骤示意图。

图2是本发明的假设条件展示图。

图3是纹理相同但方向各异的纺织品图像背景像素分布图。

图4是图像校准的大体流程图。

图5是图像旋转的大体流程图。

图6是算法4的基本原理图。

图7是计算sh初始值的基本原理图。

图8是投影的概念图。

图9是有瑕疵的类格图案其特征向量与无瑕疵存在不同的示例图。

图10是典型类格图案的计算示意图。

图11是距离矩阵的计算示意图。

图12是本发明方法对箱形纺织品图像的处理效果图：(a)为箱形图像断端散点图；(b)为箱形图像孔洞散点图；(c)为箱形图像网纹散点图；(d)为箱形图像粗条纹散点图；(e)为箱形图像细条纹散点图。

图13是本发明方法对星形纺织品图像的处理效果图：(a)为星形图像断端散点图；(b)为星形图像孔洞散点图；(c)为星形图像网纹散点图；(d)为星形图像粗条纹散点图；(e)为星形图像细条纹散点图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

为使陈述清楚明了，现集中定义本发明所涉及的部分符号和概念。

1.表示正整数集合。

2.表示包括零的整数集合。

3.表示包括零的正实数集合。

4.表示包括零的实数集合。

5.t表示矩阵或向量转置。

6.表示比小的最大整数，例如

7.{ai}表示由索引i确定的由元素ai组成的集合或多重集。

8.|s|表示集合s中的元素个数。

9.avg(s)：计算集合或多重集s的均值，s的元素均为实数。

10.std(s)：计算集合或多重集s的标准差，s的元素均为实数。

11.med(s)：计算集合或多重集s的中位值，s的元素均为实数。

12.mod(s)：计算多重集s的众数，s的元素均为实数。

13.max(s)表示找出集合或多重集s的元素最大值，例如max(ic)代表ic中像素的最大灰度值。

14.表示找出符合条件的的最大值。

15.min(s)表示找出集合或多重集s的元素最小值，例如min(ic)代表ic中像素的最小灰度值。

16.argmaxsf(s)表示在函数f的定义域内变量s的取值范围中，使得函数f(s)取最大值的s。

17.argminsf(s)表示在函数f的定义域内变量s的取值范围中，使得函数f(s)取最小值的s。

18.argmaxsf1(s),f2(s)表示在函数f1和f2的定义域交集内变量s的取值范围中，使得函数f1(s)和f2(s)取最大值的s。

19.argmodi({ai})表示对应多重集{ai}众数mod({ai})的索引。

20.dimx(i)表示二维图像i的总行数，dimy(i)表示i的总列数。

21.i(x,y)表示在二维图像i中具有行列索引(x,y)的像素值。行索引1≤x≤dimx(i)；列索引1≤y≤dimy(i)。

22.纺织品图像卡通成分ic：对一幅灰度化的纺织品图像，应用基于曲波(curvelet)和离散余弦变换(localdiscretecosinetransform，以下简称dct)的形态成分分析方法(morphologicalcomponentanalysis，以下简称mca)所计算的具有光滑边缘图案的图像称为卡通成分ic，ic是一幅灰度图像。

23.阈值系数fc：用于二值化ic的参数，该参数由算法3计算得到。

24.二值化卡通成分itc：使用fc·max(ic)作为阈值二值化ic所得到的二值图像，其中1表示前景像素，即ic中灰度值不小于阈值的像素，0表示背景像素。itc与ic的行数和列数相同。

25.横向投影是的多重集，其中1≤k≤dimy(i)，即表示行索引为x的背景像素个数。

26.纵向投影是的多重集，其中1≤l≤dimx(i)，即表示列索引为y的背景像素个数。

27.表示的峰值多重集，中的元素称为峰值，峰值是指中满足和的元素其中x表示行索引。

28.表示的峰值多重集，中的元素称为峰值，峰值是指中满足和的元素其中y表示列索引。

29.表示对中元素使用hc算法所得到的聚类中心的多重集。

30.表示对中元素使用hc算法所得到的聚类中心的多重集。

31.dct尺寸：mca在图像局部应用dct，即首先将图像划分为不重叠且具有固定大小的矩形区域，然后对每个区域应用dct，矩形区域的大小称为dct尺寸，单位为像素，区域内一行的像素数称为dct尺寸的宽，一列的像素数称为dct尺寸的高。

32.将中元素按降序排列，从开始，计算其与下一个元素的差的绝对值，若该值不大于dct尺寸的高，则继续计算当前元素与下一个元素的差的绝对值并与dct尺寸的高比较，若不大于则继续，若大于则下一个元素为并终止；如果一直没有出现大于dct尺寸的高的情况，则将即为

33.将中元素按降序排列，从开始，计算其与下一个元素的差的绝对值，若该值不大于dct尺寸的高，则继续计算当前元素与下一个元素的差的绝对值并与dct尺寸的宽比较，若不大于则继续，若大于则下一个元素为并终止；如果一直没有出现大于dct尺寸的宽的情况，则将即为

34.k：hc算法的聚类个数，用于指定hc算法的聚类个数，

35.s′h：中不小于的元素的行索引x的集合，s′h中x按从小到大排列。

36.s′v：中不小于的元素的列索引y的集合，s′v中y按从小到大排列。

37.集合s′h中相邻两元素之间后一元素与前一元素差的多重集，即行索引间距的多重集，中行索引间距按产生该间距的x∈s′h中的较大值从小到大排列。

38.集合s′v中相邻两元素之间后一元素与前一元素差的多重集，即列索引间距的多重集，中列索引间距按产生该间距的y∈s′v中的较大值从小到大排列。

39.稳定行间距：中与之差的绝对值小于的行索引间距。即里的元素是行索引间距,这些行索引间距都与做差，差的绝对值小于的行索引间距称为稳定行间距。

40.稳定列间距：中与之差的绝对值小于的列索引间距。即里的元素是列索引间距,这些列索引间距都与做差，差的绝对值小于的列索引间距称为稳定列间距。

41.满足行索引连续的稳定行间距组成的多重集，中的稳定行间距按产生该间距的两个行索引x∈s′h中的较大值升序排列，行索引连续是指中排列顺序相邻的稳定行间距所对应的行索引xi∈s′h中的i值连续，例如i可以取2，3，4，但不能只取2和4。

42.满足列索引连续的稳定列间距组成的多重集，中的稳定列间距按产生该间距的两个列索引y∈s′v中的较大值升序排列，列索引连续是指中排列顺序相邻的稳定列间距所对应的yj∈s′v的的j值连续，例如j可以取2，3，4，但不能只取2和4。

43.具有最多元素个数的

44.具有最多元素个数的

45.sh：sh的初始值为产生中稳定行间距所对应行索引x∈s′h的集合，后经算法4扩展，sh表示类格图案分界处像素行索引的集合。

46.sv：sv的初始值为产生中稳定列间距所对应列索引y∈s′v的集合，后经算法4扩展，sv表示类格图案分界处像素列索引的集合。

47.类格图案分界：sh中行索引所对应的ic中的行与sv中列索引所对应的ic中的列。

48.理想行数

49.理想列数

50.类格图案：在itc中，根据sh中行索引对应的行与sv中列索引对应的列，将itc分割为矩形区域，矩形区域称为类格图案，其中sh中行索引对应的行与sv中列索引对应的列不包含在类格图案里。

51.maxx(a)表示包含行列索引(x,y)的集合a中，行索引x的最大值。

52.minx(a)表示包含行列索引(x,y)的集合a中，行索引x的最小值

53.maxy(a)表示包含行列索引(x,y)的集合a中，列索引y的最大值。

54.miny(a)表示包含行列索引(x,y)的集合a中，列索引y的最小值。

55.表示根据横向投影包含的背景像素数计算的熵。

56.表示根据横向投影包含的背景像素数计算的熵。

57.熵阈值ex表示根据一组类格图案排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。

58.熵阈值ey表示根据一组类格图案排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。

59.表示按操作数顺序连接产生向量，例如标量v1＝1和向量v2＝[23]^t,对于标量s1＝8，s2＝1，s3＝5，对于向量v1＝[23]^tv2＝[5o4]^t

60.其中

61.cb(v1,v2)表示维数相同的向量v1与v2的车贝雪夫距离(chebychevdistance)。

假设纺织品图像由重复单个类格图案构成，如果定义图像行为水平方向，即角度为0°，若大于零的角度是从图像的行开始逆时针旋转得到的角度值，那么类格图案的重复过程可由以下步骤完成：1，根据该角度同向旋转类格图案；2，沿该方向和该方向的垂直方向重复(复制并移动)旋转过的类格图案，且保证相邻类格图案间距为0。重复过程中类格图案的旋转角度称为排列角度。附图3所示的纺织品图像旋转角度与类格图案的排列角度意义相同。

在以上定义的基础上，现介绍本发明的技术方案。正如附图说明图1所示，本发明方法由四部分构成：(1)图像校准，(2)类格图案分割，(3)距离计算和(4)直方图分析，以下按附图1中从左至右的顺序依次介绍四部分内容。

类格图案分割的功能是自动分割纺织品图像产生类格图案。由于纺织品图案丰富多样，相应的类格图案种类繁多。本发明的类格图案分割方法建立在对类格图案的假设上，即：本发明方法假设经校准的纺织品图像类格图案具有如下特点：相对于纺织品图像的行和列，类格图案按图像行的方向横向排列，并按列的方向纵向排列；在mca的卡通成分ic中，类格图案具有几何形状并与背景像素在灰度上有显著差异。例如附图2所示的三种情况，图2中每一行显示了一种情况，每行第一列是纺织品图像，第二列是ic，第三列是ic的三维mesh图，第四列是二值化卡通成分每行背景像素的个数分布，第四列图的横坐标是行索引，纵坐标是背景像素个数。图2中第一行纺织品图像的类格图案没有几何形状，这导致了背景像素分布缺乏明显的周期性；第二行纺织品图像的类格图案虽然有几何形状，但类格图案中的形状与背景在ic中的差异小，即相应的mesh图大部分区域几乎是平坦的，这导致背景像素数量过多，背景像素分布缺乏明显的周期性；第三行纺织品图像类格图案具有几何形状并在ic中与背景的差异大，其背景像素分布具有周期性。

(1)图像校准

图像校准建立在对二值化纺织品图像卡通成分中背景像素分布的分析上，如附图3所示。在附图3中，位于中心的纺织品图像从0°开始，每隔15°旋转一次，一共旋转了7次(即0°，15°，30°，…)，旋转的图像按顺时针方向围绕原图像排列，每幅图像的横向投影和纵向投影以图形方式显示，图形下方标注有分别根据和计算的熵和观察附图3所示的和可以发现0°和90°图像的熵超过其它旋转图像的熵。如果存在类格图案排列角度为0°的数个无暇纺织品图像，则可以计算每幅图像的和取这些熵的均值的整数部分得到两个阈值ex和ey，可以用于判断类格图案的排列角度是否接近0°或90°的倍数。ex和ey的计算过程的伪代码描述见算法1。

对于类格图案排列角度未知的纺织品图像i，将i依次旋转θ＝1°，2°，3°…360°并计算相应的和如果角度θ中存在对应和最大值的那么称为理想校准角度，对应的旋转图像则作为校准结果。的定义如下。

上述计算的过程由于θ的取值过多，计算效率不高，本法采用如附图4所示的流程计算的近似值。如附图4所示，对于类格图案排列角度未知的纺织品图像i，本发明使用canny边缘检测方法计算i的边缘，使用hough变换将边缘投影到参数空间中，取参数空间中前nθ个峰值所对应的直线斜率的角度θ，根据所取θ旋转i，得到nθ个旋转图像，根据每个旋转图像的和计算和取和中最大值对应的角度，用该角度近似对应的旋转图像则作为最终的校准结果。校准流程的伪代码描述见算法2。

虽然图像旋转可以通过仿射变换完成，但由仿射变换的图像的边角部分为空，例如附图5所示。附图5中从左往右数依次排列了5幅图像，第一幅显示了类格图案按37°排列的纺织品图像i，第二副显示了应用仿射变换旋转负37°得到的图像(原始ir)，该图像中出现了留空(像素值为0)的4个三角形区域如果不处理这些留空区域，那么这些区域不仅会影响和的计算，还有可能被后续步骤识别为瑕疵。为填充本发明采取了找出过斜边端点且平行于的较长的直角边的直线，以该直线为对称轴将仿射变换得到的原始旋转图像ir的像素复制给附图5中从左往右数的第三幅和第四副图像视觉化了该过程，其伪代码描述见算法3。附图5最右边标有“最终ir”的图像是算法3的旋转结果，虽然留空区域得到填充，但一些伪影(artifacts)出现在旋转结果中，例如左下角的类格图案排列出现了错位。

(2)类格图案分割

如附图6所示，对于一幅给定的纺织品图像，类格图案分割(算法4)使用mca计算ic和纹理成分，根据算法6计算得到的阈值系数fc，使用阈值fc·max(ic)二值化ic得到itc。图6中显示了ic的mesh图，ic中的二维图案在mesh图中显示为三维“山峰”，二值化ic相当于用一个灰色平面截断山峰，山峰平面上方的部分所对应的像素保存为1，山峰平面下方的部分所对应的像素保存为0，这个二值化结果为itc，即图6右下方箭头“使用阈值二值化ic得到itc”所指的图案。

假设纺织品图像至少由4个类格图案构成，那么itc中对应类格图案的对象尺寸应小于图像尺寸的一半，因此如果出现了尺寸过大的情况，那么这个对象则不是类格图案，应从itc中删除尺寸过大的对象，即：由moore-neighbor跟踪算法(moore-neighbortracingalgorithm)获取itc中对象的闭合边缘。对于每个具有闭合边缘的对象，找出该对象行列索引的极值，如果该对象行索引极值之差的绝对值超过0.75·dimx(itc)，或列索引极值之差的绝对值超过0.75·dimy(itc)，则从itc中删除该对象，即将尺寸过大的对象的像素置为0。

纺织品图像类格图案的几何形状被itc中的二值对象所描述，类格图案的丰富多样导致了二值对象几何形状的多样性，但二值对象之间背景像素的分布受其形状影响小，即：不同形状的二值对象，如果其沿相同方向的排列相同，那么背景像素在该方向上的分布相似。如附图6所示，统计二值化卡通成分每行和每列的背景像素个数，按行和列的次序分别排列背景像素个数即构成了背景像素的横向投影和纵向投影和的峰值分别记为多重集和即附图6中横向投影和纵向投影图示中靠近标签“横向投影和“纵向投影的深色小点，这些峰值反映了itc中类格图案的分界。

为获取这些峰值而过滤其他峰值，对和分别使用hc算法进行聚类，本发明方法中的hc算法采用常见的基于单关联(singlelinkage)的合并层次聚类(agglomerativehierarchicalclustering)方式处理数据，即：对于给定的一维离散实数，hc算法计算每两个数之间的欧氏距离，距离最小的两个数聚为一类；对于没有归类的数，每个数视为单独一类，类与类之间的距离定义为两类之间欧氏距离最小的两数间距离，将距离最小的两类聚为一类，如此反复直至所有数都聚为一类。这个过程可以由树状图(dendrogram)描述，例如附图6中标有的hc聚类”和的hc聚类”的图例显示了对峰值和的聚类过程树状图，两幅树状图的横轴表示峰值，纵轴表示类间距离。在树状图中，hc算法采取自底向上的方式两两聚类，被聚为一类的两类由倒置的“u”型线条连接，最上方的u型线条表示所有峰值最终被聚为一类。对于给定的聚类个数k，hc算法返回类数为k时各类的聚类中心(聚类中心定义为该类中所有元素的平均值)，即在附图6的树状图中，用平行于横轴的直线与u型线条中平行于纵轴的部分相交，交点个数为k时，自底向上连接到同一交点的峰值视为一类，从而产生k个类。对和的聚类首先根据基于欧氏距离的轮廓系数估计最优聚类个数k，以具有最大轮廓系数的k初始化hc算法并对和聚类，即：计算k为1，的hc算法对分类的轮廓系数，用对应最大轮廓系数的k初始化hc算法并对进行分类，分类所得的聚类中心保存为多重集计算k为1，的hc算法对分类的轮廓系数，用对应最大轮廓系数的k初始化hc算法并对进行分类，分类所得的聚类中心保存为多重集

由于数据的随机性，和有可能包含多个相近的聚类中心，这些相近聚类中心中的最小值被分别选为阈值和即：将降序排列，从开始，计算前后两元素之差的绝对值，差大于dct尺寸高的的第一个元素为类似地，将降序排列，从开始，计算前后两元素之差的绝对值，差大于dct尺寸宽的的第一个元素为中不小于的峰值按所对应的行索引，记为s′h；中不小于的峰值按所对应的列索引，记为s′v。

由于瑕疵等因素的干扰，s′h和s′v中的行列索引不一定准确反映类格图案的分界。因此，需要评估s′h中是否存在具有稳定行间距的行索引，以及s′v中是否存在具有稳定列间距的列索引，这些行列索引作为类格图案的分界以分割类格图案。对于s′h，将s′h中元素做升序排列，行索引间距的多重集定义为具有行索引连续的稳定行间距的多重集定义如下。

其中xi∈s′h，i为数值连续的正整数，例如i可以取2，3，4，但不能只取2和4。由于可能存在多个符合定义的连续间距，所以可能存在多个其中具有最多元素个数的(记作)所对应的行索引作为类格图案分界集合sh的初始值，其定义如下。

附图7显示了以一副纺织品图像横向投影为基础计算sh初始值的过程，左侧显示了峰值以深色小点表示，对进行聚类则得到附图7中通过聚类得到了7个类的聚类中心，根据的聚类中心计算得到阈值即图中标有的直线上的叉。根据筛选的元素，删除较小峰值，即附图7中间的图示，根据行索引连续的峰值的行索引计算其行间距，则得到具有不同长度(元素个数)的其中具有最多元素的(即附图7中标有“最大的”)为sh的初始值即为如附图7最右侧所示。类似地，可以计算和sv的初始值，定义如下。

因为sh与sv初始值所对应的和分别包含稳定行间距和稳定列间距，因此与中位值定义为理想行数和理想列数sh与sv的初始值示例见附图6，如图6所示，纺织品图像仅部分区域被sh和sv的初始值同时覆盖，即图6标有“sh和sv的初始值”图示中的网格，只有竖直直线的区域仅有sv覆盖。sh和sv的扩展基于和进行。由于sh中的行索引按升序排列，从min(sh)开始，以步长向itc行索引最小值1移动，即计算检查是否存在满足如果存在x′，则将x′添加进sh，否则将x添加进sh并保持sh中元素升序排列，再次计算并重复上述步骤；类似地，从max(sh)开始，以步长向itc行索引最大值dimx(ic)移动，即计算检查是否存在满足如果存在x′，则将x′添加进sh，否则将x添加进sh，再次计算并重复上述步骤。对sv以步长做类似扩展，详见算法4。

扩展得到的sh与sv基本覆盖了纺织品图像大部分区域，如附图6所示。根据sh与sv分别包含的行与列索引，可以将ic按这些索引所在的行与列进行分割，分割所得的区域定义为类格图案，其定义如下。

其中1≤i≤|sh|-1且1≤j≤|sv|-1，因此ic分割出(|sh|-1)·(|sv|-1)个而i和j分别是以类格图案为单位的行与列索引。类格图案分割的一个重要参数是fc，如图6所示，ic的二值化是基于阈值fc·max(ic)完成，而该阈值取决于fc。如果存在多个无瑕疵纺织品图像，对于每幅图像应用基于不同fc取值的算法1能得到多个和计算所得的和的直方图，其中出现次数最多的和及其对应的fc取值对确定fc的最终取值具有参考意义。假设存在n个无瑕疵纺织品图像i1,i2…in和m个fc的可选值c1,c2…cm，令和分别表示输入为ik，k＝1,2…n且fc＝cl，l＝1,2…m的算法1计算得到的和对于每个ik都存在m个和m个在关于ik的多重集和多重集中出现次数最多元素所对应的fc取值分别记为ch(k,l)和cv(k,l)，定义如下。

对于ik，如果ch(k,l)与cv(k,l)相同，则相应索引(k,l)保存在集合中，的定义如下。

对于每个即对于ik，如果至少存在一个l′使得ch(k,l′)≡cv(k,l′)成立，则与med({cl})距离最近的ch(k,l′)参与fc的计算，fc的定义如下。

其中ch(k,l)的索引表示取符合定义中的k值。计算fc的伪代码描述见算法6。

(3)距离计算

如附图8所示，特征提取采用了gabor滤波器组对类格图案分割生成的1≤i≤|sh|-1且1≤j≤|sv|-1进行卷积，卷积结果通过投影方法降维，计算降维结果的能量和振幅，组合能量和振幅构造特征向量，最终产生特征向量距离矩阵，矩阵中的元素即为算法7提取的特征。

gabor滤波器包含实部和虚部，本发明仅采用了gabor滤波器的虚数部分，其定义如下。

其中表示尺度参数，表示角度参数，g0＝1/(4·2^s/2),如果s取值的个数记作θ的取值个数记作可构成ns·nθ个gabor滤波器，这些滤波器的集合称为gabor滤波器组。每个分别与ns·nθ个gabor滤波器进行卷积，可产生ns·nθ个卷积结果，将这些卷积结果旋转–θ，然后按行累加，即可将二维卷积结果变为一维，达到降维目的。令gi,j(x|s,θ)表示行索引为x的行投影，其定义如下。

其中和为gabor滤波器系数的索引，表示gabor滤波器系数索引的取值范围，gabor滤波器系数可排列为行数和列数均为(2·sg+1)的矩阵。对于将其卷积结果的各行投影gi,j(x|s,θ)按x升序排列则得到一维的卷积投影gi,j|s,θ，其定义如下。

其中表示按x升序排列的连接，连接方式与定义7相同。附图8以单个类格图案为例显示了本发明计算gi,j|s,θ的阶段性结果，其中gabor滤波器的s＝1，θ取值为0°，45°，90°和135°，因此ns＝1，nθ＝4。对于纺织品图像中的每个类格图案都会产生ns·nθ＝4个gi,j|s,θ，计算每个gi,j|s,θ的能量和振幅，并按s和θ的取值顺序连接构造的特征向量vi,j(其中1≤i≤|sh|-1，1≤j≤|sv|-1)，其定义如下。

其中ei,j和ai,j分别表示的能量和振幅。若ei,j|s,θ表示gi,j|s,θ的能量，则ei,j|s,θ＝∑xgi,j(x|s,θ)²为gi,j|s,θ中所有元素的平方和，其中x为gi,j|s,θ的元素索引，那么其中表示按先s后θ的顺序连接。本发明中类似地，定义ai,j|s,θ表示gi,j|s,θ的振幅，则ai,j|s,θ＝∑x|gi,j(x|s,θ)|为gi,j|s,θ中所有元素的绝对值之和，其中x为gi,j|s,θ的元素索引，那么本发明中对于含瑕疵的纺织品图像，如果瑕疵出现在部分类格图案中，那么有瑕疵的类格图案与无瑕疵类格图案在特征向量各元素取值上存在差异。例如附图9所示，图9显示了一幅有瑕疵纺织品图像的部分特征向量。图9中，纺织品图像由算法1分割产生14×11的类格图案，即中1≤i≤14，1≤j≤11，其中加粗边框显示的和包含瑕疵。图9显示了第7行类格图案的gi,j|s,θ，标有“g7,j|s,θ”的图示中，从左向右所示的4列分别是g7,j|1,0°，g7,j|1,45°，g7,j|1,90°和g7,j|1,135°，从上到下所示的11行分别对应可以观察到加粗显示的g7,2|s,θ和g7,3|s,θ(其中s＝1，θ为0°，45°，90°和135°)与其他g7,j|s,θ(其中j≠2或3)存在差异。图9中标有“v7,j”的图示，从上到下分别是v7,1，v7,2…v7,11，可以观察到加粗显示的v7,2和v7,3与其他v7,j(其中j≠2或3)存在差异。

由于有瑕疵的类格图案与无瑕疵类格图案在gi,j|s,θ与vi,j(其中1≤i≤|sh|-1，1≤j≤|sv|-1)两者上差异大，而无瑕疵类格图案之间在gi,j|s,θ与vi,j两者上差异小，本发明通过分析类格图案在gi,j|s,θ上的差异，找出差异小的类格图案，在这些类格图案的基础上构建理想特征向量v^*，并比较vi,j与v^*的差距，在一定程度上区别有瑕疵和无瑕疵的类格图案。本发明将构建v^*的问题转换为找出每行的典型无瑕疵类格图案，基于每行的典型类格图案的特征向量构建v^*。对于每行类格图案，计算每个类格图案与其所在行中所有类格图案关于卷积投影的车贝雪夫距离(chebychevdistance)，即对于给定的i,s和θ，对于每个(其中1≤j≤|sv|-1)的取值，计算cb(gi,j|s,θ,gi,1|s,θ)，cb(gi,j|s,θ,gi,2|s,θ)…cb(gi,j|s,θ,gi,|sv|-1|s,θ)，并按此计算顺序排列成一行，一共有(|sv|-1)行，再将这些行按j的取值大小从上到下排列，构成如下关于第i行的距离矩阵

对于第i行，存在ns·nθ个对于本发明的每行类格图案，则需计算和附图10显示了典型类格图案的计算结果，图中标有“g7,j|s,θ”的图例是图9中标有“g7,j|s,θ”图例的简化，表示的都是图9所示的第7行的卷积投影g7,j|s,θ。根据g7,j|s,θ计算得到的和以重叠方式显示为图10中标有的图例，(其中s＝1，θ为0°，45°，90°和135°)中的每个元素以一个色块的形式显示，色块越亮则元素值越大，色块越暗则元素值越小，所有关于车贝雪夫距离的矩阵在附图中都以这种方式图形化。的第j行表示与第i行中所有类格图案卷积投影的车贝雪夫距离，由于对角线元素表示与它自己卷积投影的车贝雪夫距离，所以对角线上的元素恒为0。移除该的对角线得到矩阵的定义如下。

的第j行表示与第i行中除外的其他类格图案卷积投影的车贝雪夫距离。计算每行的标准差，具有最小标准差的行的行索引j′对应的类格图案定义为第i行类格图案关于s和θ的典型无瑕疵类格图案，记作j′的定义如下。

其中表示中的第j行。对于第i行类格图案，如果存在多个对应相同s和θ的则任取其中一个作为唯一的关于s和θ的典型无瑕疵类格图案。对于不同的s和θ，的索引j′有可能相同，即不同的s和θ的典型无瑕疵类格图案是同一个类格图案，重合次数最多的类格图案定义为第i行的典型无瑕疵类格图案，记作其定义如下。

对于第i行类格图案，如果没有出现不同的s和θ的典型无瑕疵类格图案是同一个类格图案的情况，即对于给定的i和不同的s和θ，成立，则任取中的一个。在某些情况下不一定能代表第i行的无瑕疵类格图案，例如一行中瑕疵类格图案较多或瑕疵不明显时，有可能是有瑕疵类格图案中的一个。附图10显示了这种情况，图中标有“各行的典型图案的图例以白色边框的形式显示1≤i≤14，其中第7行(即i＝7)整行以加粗边框形式突出显示，可以观察到是第7行中有瑕疵的类格图案。为了排除有瑕疵的(其中1≤i≤|sh|)，可计算特征向量之间的车贝雪夫距离，即对于每个计算并将距离排列为如下所示的矩阵

附图10显示了图中标有的图例显示了根据标有“各行的典型图案图例中(其中1≤i≤14)所计算的其中有瑕疵的在中所对应的第7行色块比其他行要亮，同时第7列色块比其他列要亮。中的第i行和第i列都表示与纺织品图像中所有典型图案特征向量的车贝雪夫距离，的对角线元素为因此，如果对应的是有瑕疵的相比较没有瑕疵的典型图案在中所对应的行和列，对应的第i行和第i列中除对角线以外元素的值较大，例如图10中明亮的第7行和第7列，按行累加中的元素，则可以量化中关于(其中1≤i≤|sh|-1)的车贝雪夫距离的大小情况，即计算如下定义的距离向量d。

其中1≤i′≤|sh|-1，表示按i的索引顺序进行连接，连接方式与定义7相同。距离向量d中的第i个元素di表示与所有典型图案的车贝雪夫距离之和。只有满足条件avg(d)-std(d)<di<avg(d)+std(d)的可以参与理想特征向量v^*的计算，满足该条件的组成的多重集s^*定义如下。

v^*定义为s^*的均值，即v^*＝avg(s^*)。以v^*作为标准，通过计算纺织品图像中类格图案特征向量vi,j与v^*的车贝雪夫距离并分析的分布，识别有瑕疵的类格图案。将作为一个矩阵第i行和第j列的元素，得到距离矩阵其定义如下。

附图11显示了以v^*为标准计算的简略过程，标有“纺织品图像中所有类格图案的特征向量vi,j”的图例以图形的形式象征性地显示以特征向量vi,j表示的纺织品图像的类格图案，标有“理想特征向量v^*”的图例图形化表示了v^*，这两幅图例之间用标有“比较”的箭头连接，该箭头简略表示的计算方法。图11中标有“距离矩阵的图例图形化显示了该图例被标有“等价”的箭头与标有的mesh图”的图例相连，即以三维图形的形式显示了的值，这两个图例中，有瑕疵的类格图案对应的和与其他相比具有较大的值，即mesh图中的最高峰。

至此，特征提取及相关算法(算法7)的描述结束。下面介绍特征比较(算法9和6)的内容，如附图11所示，中有瑕疵类格图案对应的和的值很大，在的直方图，即标有中元素分布的直方图”的图例中，和所对应的分布用加粗边框突出显示，其分布位于直方图的最右边。图11中标有“有瑕疵的类格图案”的图例显示了对应和的和因此，有瑕疵的类格图案所对应的往往靠近直方图中最大值分布的最右端区域，分离直方图中有瑕疵和无瑕疵类格图案所对应的可以转化为基于阈值的判断问题，即选择距离阈值d^*，比较与d^*，对应且符合一定条件的类格图案被标记为有瑕疵的类格图案。本发明中d^*取一组无瑕疵纺织品图像最大值的平均值，计算过程由算法9描述。

(4)直方图分析

结合距离阈值d^*与的直方图可以分析直方图中的分布情况，从而确定有瑕疵的类格图案。由于d^*是基于一组无瑕疵纺织品图像的阈值，对于一幅特定的纺织品图像，d^*与准确分离该图像中有瑕疵和无瑕疵类格图案的真实阈值t^*可能存在差异。本发明方法选择缺口值t′和断崖值t″为t^*的近似值。令t表示的横轴刻度，即的取值范围，h(t)表示的纵轴刻度，即取值为t的的个数，t′表示d^*<t时h(t)的“第一个缺口”，t″表示d^*<t时h(t)的“第一个断崖”，其定义如下。

实际情况中，t′和t″并不一定存在，因此当t′存在时，则用t′近似t^*，如果t′不存在而t″存在，则使用t″近似t^*，如果t′和t″都不存在，则定义t^*为d^*。所有对应的类格图案被标记为有瑕疵的类格图案计算过程由算法10描述。

本发明方法的瑕疵检测效果评估以香港大学电气和电子工程系工业自动化实验室提供的106幅像素大小为256×256的24位彩色纺织品图像为基础，对每个有暇纺织品图像使用仿射变换以随机角度生成10幅旋转图像，然后删除存在严重伪影的图像，最终得到490张类格图案按随机方向排列的有暇纺织品图像和未经旋转的51张无暇纺织品图像，在实验中这些图像(490+51＝541幅)被转换为8位的灰度图像。541幅图像包括两种图案：箱形图像和星形图像，其中箱形图像包括26幅无瑕疵和251幅有瑕疵图像；星形图像包括25幅无瑕疵和239幅有瑕疵图像。两种图案的有瑕疵图像包括5种瑕疵类型：断端(brokenend)，孔洞(hole)，网纹(nettingmultiple)，粗条纹(thickbar)和细条纹(thinbar)，每种瑕疵类型的具体数量详见表1与表2的第一列。所有瑕疵图像都有大小相同且类格图案排列方向相同的瑕疵基准图(ground-truthimage)，瑕疵基准图为2值图像，其中1表示瑕疵，0表示背景。

用于比较的算法包括wgis，bb，rb和er。用于评估的指标包括真阳性(truepositive，以下简称tp)，假阳性(falsepositive，以下简称fp)，真阳性率(truepositiverate，以下简称tpr)，假阳性率(falsepositiverate，以下简称fpr)，阳性预测值(positivepredictivevalue，以下简称ppv)和阴性预测值(negativepredictivevalue，以下简称npv)。

tpr衡量瑕疵基准图中表示瑕疵的像素被算法正确标定为瑕疵的比例，fpr衡量瑕疵基准图中表示背景的像素被算法错误标定为瑕疵的比例，ppv衡量算法输出的瑕疵中瑕疵基准图中的瑕疵所占比例，npv衡量算法输出的背景中瑕疵基准图中的背景所占比例。对于tpr，ppv和npv，指标值越大越好，对于fpr则越小越好。相关数学定义可以在文献(m.k.ng,h.y.t.ngan,x.yuan,etal.,patternedfabricinspectionandvisualizationbythemethodofimagedecomposition,ieeetrans.autom.sci.eng.11(3)(2014)943–947)中找到。实验硬件平台为含处理器intelcore^tmi7-3610qm230-ghz和8.00gb内存的笔记本电脑，软件为windows10和maltab8.4。

bb和rb输出二值图像(其中1表示瑕疵，0表示背景)，虽然大小与输入图像一致，但输出图像中靠近边缘的狭长区域未被处理，这些区域的像素值被设为0。er和wgis虽然也输出二值图像(其中1表示瑕疵，0表示背景)，但尺寸比输入图像小，因此其处理结果用最近邻插值将尺寸转换为输入图像尺寸。经过处理后的bb，rb，er和wgis的输出图像可以通过逻辑运算直接与瑕疵基准图进行比较。这四种算法都要求人工输入参数，其中er和wgis要求输入一幅图案模版。对于wgis，图案模版从无瑕疵图像按名称排序的第一幅图像的左上角截取，箱形图像的图案模版的像素大小为27×25，星形图像的图案模版的像素大小为22×18。对于er，图案模版像素大小恒为28×26，表示比赛次数的参数设为15。对于rb，规则带像素大小恒为25。对于bb，行带(rowband)和列带(columnband)的像素大小分别为15和25，标准差数量为2。

由于本发明方法并不输出二值图像，而是输出以行列索引形式表示的瑕疵区域，因此输出结果不能直接与瑕疵基准图比较。为计算评价指标，评估过程中采取生成二值图像的方法将瑕疵区域集合转换为二值图像(其中1表示瑕疵，0表示背景)，具体方法是将瑕疵基准图中被瑕疵区域覆盖的部分拷贝到一幅像素全为0且大小与瑕疵图相同的二值图像的相同位置，所合成的二值图像作为本发明方法参与评估的输出。由于本发明方法对图像进行了校准，根据校准角度将瑕疵基准图也进行了相应校准，以达到瑕疵基准图旋转方向与校准角度相同的目的。对于箱形图像，本发明方法的参数fc为0.5，d^*为1826.9，ex和ey均为5；对于星形图像，本发明方法的参数fc为0.488，d^*为2056.9，ex和ey均为6。

表1和表2显示了参与评估的几种算法的检测结果，其中每行(除标有“概况”的最后五行)都表示一种算法在特定瑕疵种类上的指标平均值，第一列表示瑕疵类型(除标有“概况”的最后五行)，其中括号中的数字表示该类型的纺织品图像数量，第二列表示算法标识为瑕疵的像素平均数量，第三列至第六列表示tpr平均值，fpr平均值，ppv平均值和npv平均值(平均值或平均数量是算法对特定瑕疵类型的所有图像检测结果的平均值)，最后一列显示了算法名称，各列中的最优值以加粗字体形式显示。表1和表2标有“概况”的最后五行分别表示对箱形图像和星形图像所有纺织品图像的指标平均值。表1显示了箱形图像的检测结果，本发明方法的总体表现与wgis相近，但tpr比wgis低。本发明方法的tpr在断端，孔洞和网纹类型达到最大值。

表1

表2罗列了星形图像的检测结果，对于除粗条纹以外的瑕疵类型，本发明方法的tpr平均值均达到最优。在标有“概况”的最后五行中，本发明方法的总体tpr平均值为最优。

表2

图12和图13是评估涉及的各算法tpr和fpr的散点图(scatterplot)，两幅图都显示了根据不同瑕疵类型每幅纺织品图像检测结果计算的tpr和fpr组成的坐标点，例如箱形图像的瑕疵类型断端有49幅图像，则图12和图13中标有“箱形图像断端”的图例中，每个算法在tpr-fpr坐标系中都有49个以tpr和fpr为坐标值的点，每个点的tpr和fpr坐标分别表示算法对1幅瑕疵类型为断端的箱形图像检测结果的tpr和fpr指标值。有些散点图中存在个别算法的坐标点少于图像个数的情况，这是由于有些图像未被该算法识别为含瑕疵的图像，因此不存在相应的指标值。tpr和fpr的理想值分别是1.00和0.00，对应tpr-fpr坐标系的左上角。图12显示了箱形图像各算法检测结果的tpr和fpr值，其中本发明方法的在断端，孔洞，网纹和粗条纹的检测效果较好，即对应本发明检测结果的点接近坐标系左上角，wgis虽然有较高的tpr但fpr很高。对于星形图像，即图13所示，本发明方的tpr-fpr点接近坐标系左上角，说明本发明方法具有较好的星形图像检测效果。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。