基于类格图案及其面积特征的纺织品瑕疵检测方法与流程

文档序号:11324386阅读:298来源:国知局
基于类格图案及其面积特征的纺织品瑕疵检测方法与流程

本发明涉及一种基于类格图案及其面积特征的纺织品瑕疵检测方法。



背景技术:

传统的纺织品瑕疵人工识别准确率只有60-75%(k.srinivasan,p.h.dastoor,p.radhakrishnaiah,etal..fdas:aknowledge-basedframeworkforanalysisofdefectsinwoventextilestructures,j.text.inst.83(1992)431–448.),机器自动识别纺织品瑕疵的方法具有实际应用需求。平坦纺织品表面的数字图像采样(以下简称纺织品图像)属于二维纹理,二维纹理已被证明可根据17种壁纸群(wallpapergroup)定义的图案排列方法生成(k.srinivasan,p.h.dastoor,p.radhakrishnaiah,etal..fdas:aknowledge-basedframeworkforanalysisofdefectsinwoventextilestructures,j.text.inst.83(1992)431–448.),用于生成二维纹理的图案称为格(lattice),格的内部图案称为motif。多数纺织品瑕疵自动检测方法只能处理壁纸群中p1类型的纺织品图像(h.y.t.ngan,g.k.h.pang,n.h.c.yung.automatedfabricdefectdetection—areview,imageandvisioncomputing29(7)(2011)442–458.),仅有少数方法能处理p1类型以外的纺织品图像,例如基于小波预处理的基准图像差分方法(wavelet-pre-processedgoldenimagesubtraction,以下简称wgis,出自文献:h.y.t.ngan,g.k.h.pang,n.h.c.yung,etal.,waveletbasedmethodsonpatternedfabricdefectdetection,patternrecognit.38(4)(2005)559–576),共生矩阵方法,布林带方法(bollingerbands,以下简称bb,出自文献:h.y.t.ngan,g.k.h.pang,novelmethodforpatternedfabricinspectionusingbollingerbands,opt.eng.45(8)(2006)087202-1–087202-15),规则带方法(regularbands,以下简称rb,出自文献:h.y.t.ngan,g.k.h.pang,regularityanalysisforpatternedtextureinspection,ieeetrans.autom.sci.eng.6(1)(2009)131–144),elo评估方法(eloratingmethod,以下简称er,出自文献c.s.c.tsang,h.y.t.ngan,g.k.h.pang,fabricinspectionbasedontheeloratingmethod,patternrecognit.51(2016)378–394.)等。尽管这些方法可以处理p1以外的纺织品图像,但它们的计算方法多是建立在基于人工选择的类似格的图案(以下简称类格图案)之上。例如wgis要求人工选择类格图案的尺寸和纹理,bb,rb和er要求人工定义类格图案的尺寸。这些先验知识在一定程度上降低了机器识别纺织品瑕疵的自动化程度。



技术实现要素:

本发明要解决的技术问题是:为了解决现有纺织品瑕疵自动检测方法仍基于人工选择或人工定义,自动化程度不高的不足,本发明提供一种基于类格图案及其面积特征的纺织品瑕疵检测方法。

本发明解决其技术问题所采用的技术方案是:一种基于类格图案及其面积特征的纺织品瑕疵检测方法,包括以下步骤:

输入灰度化的纺织品图像;

校准图像:使用hough变换确定理想校准角度,以理想校准角度旋转图像得到校准后图像;

类格图案分割:分割校准后图像以产生类格图案,类格图案满足:相对于纺织品图像的行和列,类格图案按图像行的方向横向排列,并按列的方向纵向排列;在形态成分分析方法的纺织品图案卡通成分ic中,类格图案具有几何形状并与背景像素在灰度上有显著差异;

面积计算:计算类格图案的面积;

直方图分析:分析类格图案面积的分布,即类格图案面积直方图出现异常值则对应有暇类格图案;

根据有暇类格图案输出表示瑕疵的像素索引集合。

具体步骤为:

校准图像步骤:使用canny边缘检测生成输入图像的边缘图像,使用hough变换将边缘图像投影至参数空间,获取参数空间中的峰值所对应直线的斜率,根据斜率所对应角度的负值旋转输入图像并计算其背景像素的横向投影和纵向投影分别计算横向投影的熵和纵向投影的熵根据熵阈值ex和ey确定理想校准角度该角度所对应的旋转图像即为校准后图像。

类格图案分割步骤:使用形态学成分分析方法计算校准后图像的卡通成分ic,使用阈值fc·max(ic)二值化卡通成分ic得到二值图像itc,分别按行列索引顺序排列itc中每行和每列的背景像素数,即横向与纵向投影分别找出的峰值使用自适应kmeans算法对进行聚类,根据聚类中心筛选根据计算构成稳定行间距的最长连续行索引的集合sh以及构成稳定列间距的最长连续列索引的集合sv,并扩展sh和sv分别囊括itc的大部分行索引和列索引;以sh和sv在itc中分别对应的行列为分界,将itc分割为矩形的类格图案其中,i=1,2…|sh|-1,j=1,2…|sv|-1。

面积计算步骤:统计每个类格图案所包含前景像素的个数ai,j,其中,i=1,2…|sh|-1,j=1,2…|sv|-1,ai,j即为的面积。

直方图分析步骤:计算ai,j的直方图其中,i=1,2…|sh|-1,j=1,2…|sv|-1,以近似真实阈值为目标调整无暇面积区间的下界a0和上界a1,将任何不在无暇面积区间[a0,a1]内的ai,j所对应的标记为有暇类格图案。

本发明的有益效果是,本发明的基于类格图案及其面积特征的纺织品瑕疵检测方法,基于类格图案分割方法能够从纹理相同但角度各异的纺织品图像中自动分割类格图案,针对类格图案的基于面积计算的特征提取与瑕疵识别,分析基于照明光源下平坦纺织品表面的数字图像像素灰度信息,自动定位纺织品表面瑕疵。本发明特别适用于自动识别在稳定照明光源下采集的纹理相同但角度各异的纺织品平坦表面的数字图像中的纺织品表面瑕疵。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的步骤示意图。

图2是本发明的假设条件展示图。

图3是纹理相同但方向各异的纺织品图像背景像素分布图。

图4是图像校准的大体流程图。

图5是图像旋转的大体流程图。

图6是算法4的基本原理图。

图7是计算sh初始值的基本原理图。

图8是本发明方法对箱形纺织品图像的处理效果图:(a)为箱形图像断端散点图;(b)为箱形图像孔洞散点图;(c)为箱形图像网纹散点图;(d)为箱形图像粗条纹散点图;(e)为箱形图像细条纹散点图。

图9是本发明方法对星形纺织品图像的处理效果图:(a)为星形图像断端散点图;(b)为星形图像孔洞散点图;(c)为星形图像网纹散点图;(d)为星形图像粗条纹散点图;(e)为星形图像细条纹散点图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

为使陈述清楚明了,现集中定义本发明所涉及的部分符号和概念。

1.表示正整数集合。

2.表示包括零的整数集合。

3.表示包括零的正实数集合。

4.表示包括零的实数集合。

5.t表示矩阵或向量转置。

6.表示比小的最大整数,例如

7.{ai}表示由索引i确定的由元素ai组成的集合或多重集。

8.|s|表示集合s中的元素个数。

9.avg(s):计算集合或多重集s的均值,s的元素均为实数。

10.std(s):计算集合或多重集s的标准差,s的元素均为实数。

11.med(s):计算集合或多重集s的中位值,s的元素均为实数。

12.mod(s):计算多重集s的众数,s的元素均为实数。

13.max(s)表示找出集合或多重集s的元素最大值,例如max(ic)代表ic中像素的最大灰度值。

14.表示找出符合条件的的最大值。

15.min(s)表示找出集合或多重集s的元素最小值,例如min(ic)代表ic中像素的最小灰度值。

16.argmaxsf(s)表示在函数f的定义域内变量s的取值范围中,使得函数f(s)取最大值的s。

17.argminsf(s)表示在函数f的定义域内变量s的取值范围中,使得函数f(s)取最小值的s。

18.argmaxsf1(s),f2(s)表示在函数f1和f2的定义域交集内变量s的取值范围中,使得函数f1(s)和f2(s)取最大值的s。

19.argmodi({ai})表示对应多重集{ai}众数mod({ai})的索引。

20.dimx(i)表示二维图像i的总行数,dimy(i)表示i的总列数。

21.i(x,y)表示在二维图像i中具有行列索引(x,y)的像素值。行索引1≤x≤dimx(i);列索引1≤y≤dimy(i)。

22.纺织品图像卡通成分ic:对一幅灰度化的纺织品图像,应用基于曲波(curvelet)和离散余弦变换(localdiscretecosinetransform,以下简称dct)的形态成分分析方法(morphologicalcomponentanalysis,以下简称mca)所计算的具有光滑边缘图案的图像称为卡通成分ic,ic是一幅灰度图像。

23.阈值系数fc:用于二值化ic的参数,该参数由算法3计算得到。

24.二值化卡通成分itc:使用fc·max(ic)作为阈值二值化ic所得到的二值图像,其中1表示前景像素,即ic中灰度值不小于阈值的像素,0表示背景像素。itc与ic的行数和列数相同。

25.横向投影的多重集,其中1≤k≤dimy(i),即表示行索引为x的背景像素个数。

26.纵向投影的多重集,其中1≤l≤dimx(i),即表示列索引为y的背景像素个数。

27.表示的峰值多重集,中的元素称为峰值,峰值是指中满足的元素其中x表示行索引。

28.表示的峰值多重集,中的元素称为峰值,峰值是指中满足的元素其中y表示列索引。

29.表示对中元素使用hc算法所得到的聚类中心的多重集。

30.表示对中元素使用hc算法所得到的聚类中心的多重集。

31.dct尺寸:mca在图像局部应用dct,即首先将图像划分为不重叠且具有固定大小的矩形区域,然后对每个区域应用dct,矩形区域的大小称为dct尺寸,单位为像素,区域内一行的像素数称为dct尺寸的宽,一列的像素数称为dct尺寸的高。

32.中元素按降序排列,从开始,计算其与下一个元素的差的绝对值,若该值不大于dct尺寸的高,则继续计算当前元素与下一个元素的差的绝对值并与dct尺寸的高比较,若不大于则继续,若大于则下一个元素为并终止;如果一直没有出现大于dct尺寸的高的情况,则将即为

33.中元素按降序排列,从开始,计算其与下一个元素的差的绝对值,若该值不大于dct尺寸的高,则继续计算当前元素与下一个元素的差的绝对值并与dct尺寸的宽比较,若不大于则继续,若大于则下一个元素为并终止;如果一直没有出现大于dct尺寸的宽的情况,则将即为

34.k:kmeans算法的聚类个数,用于指定kmeans算法的聚类个数,

35.s′h:中不小于的元素的行索引x的集合,s′h中x按从小到大排列。

36.s′v:中不小于的元素的列索引y的集合,s′v中y按从小到大排列。

37.集合s′h中相邻两元素之间后一元素与前一元素差的多重集,即行索引间距的多重集,中行索引间距按产生该间距的x∈s′h中的较大值从小到大排列。

38.集合s′v中相邻两元素之间后一元素与前一元素差的多重集,即列索引间距的多重集,中列索引间距按产生该间距的y∈s′v中的较大值从小到大排列。

39.稳定行间距:中与之差的绝对值小于的行索引间距。即里的元素是行索引间距,这些行索引间距都与做差,差的绝对值小于的行索引间距称为稳定行间距。

40.稳定列间距:中与之差的绝对值小于的列索引间距。即里的元素是列索引间距,这些列索引间距都与做差,差的绝对值小于的列索引间距称为稳定列间距。

41.满足行索引连续的稳定行间距组成的多重集,中的稳定行间距按产生该间距的两个行索引x∈s′h中的较大值升序排列,行索引连续是指中排列顺序相邻的稳定行间距所对应的行索引xi∈s′h中的i值连续,例如i可以取2,3,4,但不能只取2和4。

42.满足列索引连续的稳定列间距组成的多重集,中的稳定列间距按产生该间距的两个列索引y∈s′v中的较大值升序排列,列索引连续是指中排列顺序相邻的稳定列间距所对应的yj∈s′v的的j值连续,例如j可以取2,3,4,但不能只取2和4。

43.具有最多元素个数的

44.具有最多元素个数的

45.sh:sh的初始值为产生中稳定行间距所对应行索引x∈s′h的集合,后经算法4扩展,sh表示类格图案分界处像素行索引的集合。

46.sv:sv的初始值为产生中稳定列间距所对应列索引y∈s′v的集合,后经算法4扩展,sv表示类格图案分界处像素列索引的集合。

47.类格图案分界:sh中行索引所对应的ic中的行与sv中列索引所对应的ic中的列。

48.理想行数

49.理想列数

50.类格图案:在itc中,根据sh中行索引对应的行与sv中列索引对应的列,将itc分割为矩形区域,矩形区域称为类格图案,其中sh中行索引对应的行与sv中列索引对应的列不包含在类格图案里。

51.maxx(a)表示包含行列索引(x,y)的集合a中,行索引x的最大值。

52.minx(a)表示包含行列索引(x,y)的集合a中,行索引x的最小值

53.maxy(a)表示包含行列索引(x,y)的集合a中,列索引y的最大值。

54.miny(a)表示包含行列索引(x,y)的集合a中,列索引y的最小值。

55.表示根据横向投影包含的背景像素数计算的熵。

56.表示根据横向投影包含的背景像素数计算的熵。

57.熵阈值ex表示根据一组类格图案排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。

58.熵阈值ey表示根据一组类格图案排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。

59.类格图案面积ai,j(其中i=1,2…|sh|-1,j=1,2…|sv|-1)表示类格图案所包含前景像素的个数。

假设纺织品图像由重复单个类格图案构成,如果定义图像行为水平方向,即角度为0°,若大于零的角度是从图像的行开始逆时针旋转得到的角度值,那么类格图案的重复过程可由以下步骤完成:1,根据该角度同向旋转类格图案;2,沿该方向和该方向的垂直方向重复(复制并移动)旋转过的类格图案,且保证相邻类格图案间距为0。重复过程中类格图案的旋转角度称为排列角度。附图3所示的纺织品图像旋转角度与类格图案的排列角度意义相同。

在以上定义的基础上,现介绍本发明的技术方案。正如附图说明图1所示,本发明方法由四部分构成:(1)图像校准,(2)类格图案分割,(3)面积计算和(4)直方图分析,以下按附图1中从左至右的顺序依次介绍四部分内容。

类格图案分割的功能是自动分割纺织品图像产生类格图案。由于纺织品图案丰富多样,相应的类格图案种类繁多。本发明的类格图案分割方法建立在对类格图案的假设上,即:本发明方法假设经校准的纺织品图像类格图案具有如下特点:相对于纺织品图像的行和列,类格图案按图像行的方向横向排列,并按列的方向纵向排列;在mca的卡通成分ic中,类格图案具有几何形状并与背景像素在灰度上有显著差异。例如附图2所示的三种情况,图2中每一行显示了一种情况,每行第一列是纺织品图像,第二列是ic,第三列是ic的三维mesh图,第四列是二值化卡通成分每行背景像素的个数分布,第四列图的横坐标是行索引,纵坐标是背景像素个数。图2中第一行纺织品图像的类格图案没有几何形状,这导致了背景像素分布缺乏明显的周期性;第二行纺织品图像的类格图案虽然有几何形状,但类格图案中的形状与背景在ic中的差异小,即相应的mesh图大部分区域几乎是平坦的,这导致背景像素数量过多,背景像素分布缺乏明显的周期性;第三行纺织品图像类格图案具有几何形状并在ic中与背景的差异大,其背景像素分布具有周期性。

(1)图像校准

图像校准建立在对二值化纺织品图像卡通成分中背景像素分布的分析上,如附图3所示。在附图3中,位于中心的纺织品图像从0°开始,每隔15°旋转一次,一共旋转了7次(即0°,15°,30°,…),旋转的图像按顺时针方向围绕原图像排列,每幅图像的横向投影和纵向投影以图形方式显示,图形下方标注有分别根据计算的熵观察附图3所示的可以发现0°和90°图像的熵超过其它旋转图像的熵。如果存在类格图案排列角度为0°的数个无暇纺织品图像,则可以计算每幅图像的取这些熵的均值的整数部分得到两个阈值ex和ey,可以用于判断类格图案的排列角度是否接近0°或90°的倍数。ex和ey的计算过程的伪代码描述见算法1。

对于类格图案排列角度未知的纺织品图像i,将i依次旋转θ=1°,2°,3°…360°并计算相应的如果角度θ中存在对应最大值的那么称为理想校准角度,对应的旋转图像则作为校准结果。的定义如下。

上述计算的过程由于θ的取值过多,计算效率不高,本法采用如附图4所示的流程计算的近似值。如附图4所示,对于类格图案排列角度未知的纺织品图像i,本发明使用canny边缘检测方法计算i的边缘,使用hough变换将边缘投影到参数空间中,取参数空间中前nθ个峰值所对应的直线斜率的角度θ,根据所取θ旋转i,得到nθ个旋转图像,根据每个旋转图像的计算中最大值对应的角度,用该角度近似对应的旋转图像则作为最终的校准结果。校准流程的伪代码描述见算法2。

虽然图像旋转可以通过仿射变换完成,但由仿射变换的图像的边角部分为空,例如附图5所示。附图5中从左往右数依次排列了5幅图像,第一幅显示了类格图案按37°排列的纺织品图像i,第二副显示了应用仿射变换旋转负37°得到的图像(原始ir),该图像中出现了留空(像素值为0)的4个三角形区域如果不处理这些留空区域,那么这些区域不仅会影响的计算,还有可能被后续步骤识别为瑕疵。为填充本发明采取了找出过斜边端点且平行于的较长的直角边的直线,以该直线为对称轴将原始ir的像素复制给附图5中从左往右数的第三幅和第四副图像视觉化了该过程,其伪代码描述见算法3。附图5最右边标有“最终ir”的图像是算法3的旋转结果,虽然留空区域得到填充,但一些伪影(artifacts)出现在旋转结果中,例如左下角的类格图案排列出现了错位。

(2)类格图案分割

如附图6所示,对于一幅给定的纺织品图像,类格图案分割(算法4)使用mca计算ic和纹理成分,根据算法6计算得到的阈值系数fc,使用阈值fc·max(ic)二值化ic得到itc。图6中显示了ic的mesh图,ic中的二维图案在mesh图中显示为三维“山峰”,二值化ic相当于用一个灰色平面截断山峰,山峰平面上方的部分所对应的像素保存为1,山峰平面下方的部分所对应的像素保存为0,这个二值化结果为itc,即图6右下方箭头“使用阈值二值化ic得到itc”所指的图案。

假设纺织品图像至少由4个类格图案构成,那么itc中对应类格图案的对象尺寸应小于图像尺寸的一半,因此如果出现了尺寸过大的情况,那么这个对象则不是类格图案,应从itc中删除尺寸过大的对象,即:由moore-neighbor跟踪算法(moore-neighbortracingalgorithm)获取itc中对象的闭合边缘。对于每个具有闭合边缘的对象,找出该对象行列索引的极值,如果该对象行索引极值之差的绝对值超过0.75·dimx(itc),或列索引极值之差的绝对值超过0.75·dimy(itc),则从itc中删除该对象,即将尺寸过大的对象的像素置为0。

纺织品图像类格图案的几何形状被itc中的二值对象所描述,类格图案的丰富多样导致了二值对象几何形状的多样性,但二值对象之间背景像素的分布受其形状影响小,即:不同形状的二值对象,如果其沿相同方向的排列相同,那么背景像素在该方向上的分布相似。如附图6所示,统计二值化卡通成分每行和每列的背景像素个数,按行和列的次序分别排列背景像素个数即构成了背景像素的横向投影和纵向投影的峰值分别记为多重集即附图6中横向投影和纵向投影图示中靠近标签“横向投影和“纵向投影的深色小点,这些峰值反映了itc中类格图案的分界。

为获取这些峰值而过滤其他峰值,对分别使用kmeans算法进行聚类,首先根据轮廓系数估计最优聚类个数k,以具有最大轮廓系数的k初始化kmeans算法并对聚类,即:计算k为1,2…的kmeans算法对分类的轮廓系数,用对应最大轮廓系数的k初始化kmeans算法并对进行分类,分类所得的聚类中心保存为多重集计算k为1,2…的kmeans算法对分类的轮廓系数,用对应最大轮廓系数的k初始化kmeans算法并对进行分类,分类所得的聚类中心保存为多重集kmeans算法的伪代码描述见算法5。

由于数据的随机性,有可能包含多个相近的聚类中心,这些相近聚类中心中的最小值被分别选为阈值即:将降序排列,从开始,计算前后两元素之差的绝对值,差大于dct尺寸高的的第一个元素为类似地,将降序排列,从开始,计算前后两元素之差的绝对值,差大于dct尺寸宽的的第一个元素为中不小于的峰值按所对应的行索引,记为s′h;中不小于的峰值按所对应的列索引,记为s′v。

由于瑕疵等因素的干扰,s′h和s′v中的行列索引不一定准确反映类格图案的分界。因此,需要评估s′h中是否存在具有稳定行间距的行索引,以及s′v中是否存在具有稳定列间距的列索引,这些行列索引作为类格图案的分界以分割类格图案。对于s′h,将s′h中元素做升序排列,行索引间距的多重集定义为具有行索引连续的稳定行间距的多重集定义如下。

其中xi∈s′h,i为数值连续的正整数,例如i可以取2,3,4,但不能只取2和4。由于可能存在多个符合定义的连续间距,所以可能存在多个其中具有最多元素个数的(记作)所对应的行索引作为类格图案分界集合sh的初始值,其定义如下。

附图7显示了以一副纺织品图像横向投影为基础计算sh初始值的过程,左侧显示了峰值以深色小点表示,对进行聚类则得到附图7中通过聚类得到了7个类的聚类中心,根据的聚类中心计算得到阈值即图中标有的直线上的叉。根据筛选的元素,删除较小峰值,即附图7中间的图示,根据行索引连续的峰值的行索引计算其行间距,则得到具有不同长度(元素个数)的其中具有最多元素的(即附图7中标有“最大的”)为sh的初始值即为如附图7最右侧所示。类似地,可以计算和sv的初始值,定义如下。

因为sh与sv初始值所对应的分别包含稳定行间距和稳定列间距,因此中位值定义为理想行数和理想列数sh与sv的初始值示例见附图6,如图6所示,纺织品图像仅部分区域被sh和sv的初始值同时覆盖,即图6标有“sh和sv的初始值”图示中的网格,只有竖直直线的区域仅有sv覆盖。sh和sv的扩展基于进行。由于sh中的行索引按升序排列,从min(sh)开始,以步长向itc行索引最小值1移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh并保持sh中元素升序排列,再次计算并重复上述步骤;类似地,从max(sh)开始,以步长向itc行索引最大值dimx(ic)移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh,再次计算并重复上述步骤。对sv以步长做类似扩展,详见算法4。

扩展得到的sh与sv基本覆盖了纺织品图像大部分区域,如附图6所示。根据sh与sv分别包含的行与列索引,可以将ic按这些索引所在的行与列进行分割,分割所得的区域定义为类格图案,其定义如下。

其中1≤i≤|sh|-1且1≤j≤|sv|-1,因此ic分割出(|sh|-1)·(|sv|-1)个而i和j分别是以类格图案为单位的行与列索引。类格图案分割的一个重要参数是fc,如图6所示,ic的二值化是基于阈值fc·max(ic)完成,而该阈值取决于fc。如果存在多个无瑕疵纺织品图像,对于每幅图像应用基于不同fc取值的算法1能得到多个计算所得的的直方图,其中出现次数最多的及其对应的fc取值对确定fc的最终取值具有参考意义。假设存在n个无瑕疵纺织品图像i1,i2…in和m个fc的可选值c1,c2…cm,令分别表示输入为ik,k=1,2…n且fc=cl,l=1,2…m的算法1计算得到的对于每个ik都存在m个和m个在关于ik的多重集和多重集中出现次数最多元素所对应的fc取值分别记为ch(k,l)和cv(k,l),定义如下。

对于ik,如果ch(k,l)与cv(k,l)相同,则相应索引(k,l)保存在集合中,的定义如下。

对于每个即对于ik,如果至少存在一个l′使得ch(k,l′)≡cv(k,l′)成立,则与med({cl})距离最近的ch(k,l′)参与fc的计算,fc的定义如下。

其中ch(k,l)的索引表示取符合定义中的k值。计算fc的伪代码描述见算法6。

(3)面积计算

假设纺织品图像i二值化卡通成分itc的背景像素值为0,那么类格图案面积ai,j定义为所包含前景像素的个数,其中i=1,2…|sh|-1且j=1,2…|sv|-1,即:

多个无暇类格图案(不包含瑕疵的类格图案)的面积往往相似,因此存在一个无暇类格图案面积的区间,这个区间称为无暇面积区间。如果一个类格图案的面积不在无暇面积区间内,则该类格图案可能是有暇类格图案(包含瑕疵的类格图案)。若存在n幅纹理相同且类格图案排列方向相同的无暇纺织品图像ik,k=1,2…n,对每幅图像ik进行类格图案分割并计算类格图案面积,所得面积的最小值和最大值分别记为a0(k)和a1(k),那么无暇面积区间的下界a0和上界a1由下式定义。

其中分别表示a0(k)和a1(k)的线性序集(linearlyorderedset),其中k=1,2…n,即中的元素按值的大小升序排列,分别为的元素索引,

(4)直方图分析

对于一副纺织品灰度图像i,经过图像校准,类格图案分割并计算类格图案面积,参考无暇面积区间的下界a0和上界a1分析类格图案面积的分布,即类格图案面积直方图的异常值(outlier)往往对应有暇类格图案。因为a0的计算基于无瑕疵纺织品图像,对于一幅特定纺织品图像i,a0与准确分离该图像中有瑕和无瑕类格图案的真实阈值t*可能存在差异,所以本发明采用缺口值t′和断崖值t″为t*的近似值。令t表示的横轴刻度,即的取值范围,h(t)表示的纵轴刻度,即i中取值为t的的个数,t′表示a0<t时h(t)的“第一个缺口”,t″表示a0<t时h(t)的“第一个断崖”,其定义如下。

对于i,任何类格图案面积小于a0或t*近似值和类格图案面积大于a1的类格图案被标记为有暇类格图案,该过程的伪代码描述见算法7。

本发明方法的瑕疵检测效果评估以香港大学电气和电子工程系工业自动化实验室提供的106幅像素大小为256×256的24位彩色纺织品图像为基础,对每个有暇纺织品图像使用仿射变换以随机角度生成10幅旋转图像,然后删除存在严重伪影的图像,最终得到490张类格图案按随机方向排列的有暇纺织品图像和未经旋转的51张无暇纺织品图像,在实验中这些图像(490+51=541幅)被转换为8位的灰度图像。541幅图像包括两种图案:箱形图像和星形图像,其中箱形图像包括26幅无瑕疵和251幅有瑕疵图像;星形图像包括25幅无瑕疵和239幅有瑕疵图像。两种图案的有瑕疵图像包括5种瑕疵类型:断端(brokenend),孔洞(hole),网纹(nettingmultiple),粗条纹(thickbar)和细条纹(thinbar),每种瑕疵类型的具体数量详见表1与表2的第一列。所有瑕疵图像都有大小相同且类格图案排列方向相同的瑕疵基准图(ground-truthimage),瑕疵基准图为2值图像,其中1表示瑕疵,0表示背景。

用于比较的算法包括wgis,bb,rb和er。用于评估的指标包括真阳性(truepositive,以下简称tp),假阳性(falsepositive,以下简称fp),真阳性率(truepositiverate,以下简称tpr),假阳性率(falsepositiverate,以下简称fpr),阳性预测值(positivepredictivevalue,以下简称ppv)和阴性预测值negativepredictivevalue,以下简称npv)。

tpr衡量瑕疵基准图中表示瑕疵的像素被算法正确标定为瑕疵的比例,fpr衡量瑕疵基准图中表示背景的像素被算法错误标定为瑕疵的比例,ppv衡量算法输出的瑕疵中瑕疵基准图中的瑕疵所占比例,npv衡量算法输出的背景中瑕疵基准图中的背景所占比例。对于tpr,ppv和npv,指标值越大越好,对于fpr则越小越好。相关数学定义可以在文献(m.k.ng,h.y.t.ngan,x.yuan,etal.,patternedfabricinspectionandvisualizationbythemethodofimagedecomposition,ieeetrans.autom.sci.eng.11(3)(2014)943–947)中找到。实验硬件平台为含处理器intelcoretmi7-3610qm230-ghz和8.00gb内存的笔记本电脑,软件为windows10和maltab8.4。

bb和rb输出二值图像(其中1表示瑕疵,0表示背景),虽然大小与输入图像一致,但输出图像中靠近边缘的狭长区域未被处理,这些区域的像素值被设为0。er和wgis虽然也输出二值图像(其中1表示瑕疵,0表示背景),但尺寸比输入图像小,因此其处理结果用最近邻插值将尺寸转换为输入图像尺寸。经过处理后的bb,rb,er和wgis的输出图像可以通过逻辑运算直接与瑕疵基准图进行比较。这四种算法都要求人工输入参数,其中er和wgis要求输入一幅图案模版。对于wgis,图案模版从无瑕疵图像按名称排序的第一幅图像的左上角截取,箱形图像的图案模版的像素大小为27×25,星形图像的图案模版的像素大小为22×18。对于er,图案模版像素大小恒为28×26,表示比赛次数的参数设为15。对于rb,规则带像素大小恒为25。对于bb,行带(rowband)和列带(columnband)的像素大小分别为15和25,标准差数量为2。

由于本发明方法并不输出二值图像,而是输出以行列索引形式表示的瑕疵区域,因此输出结果不能直接与瑕疵基准图比较。为计算评价指标,评估过程中采取生成二值图像的方法将瑕疵区域集合转换为二值图像(其中1表示瑕疵,0表示背景),具体方法是将瑕疵基准图中被瑕疵区域覆盖的部分拷贝到一幅像素全为0且大小与瑕疵图相同的二值图像的相同位置,所合成的二值图像作为本发明方法参与评估的输出。由于本发明方法对图像进行了校准,根据校准角度将瑕疵基准图也进行了相应校准,以达到瑕疵基准图旋转方向与校准角度相同的目的。对于箱形图像,本发明方法的参数fc为0.5,a0为155,a1为262,ex和ey均为5;对于星形图像,本发明方法的参数fc为0.488,a0为90,a1为147,ex和ey均为6。

表1和表2显示了参与评估的几种算法的检测结果,其中每行(除标有“概况”的最后五行)都表示一种算法在特定瑕疵种类上的指标平均值,第一列表示瑕疵类型(除标有“概况”的最后五行),其中括号中的数字表示该类型的纺织品图像数量,第二列表示算法标识为瑕疵的像素平均数量,第三列至第六列表示tpr平均值,fpr平均值,ppv平均值和npv平均值(平均值或平均数量是算法对特定瑕疵类型的所有图像检测结果的平均值),最后一列显示了算法名称,各列中的最优值以加粗字体形式显示。表1和表2标有“概况”的最后五行分别表示对箱形图像和星形图像所有纺织品图像的指标平均值。表1显示了箱形图像的检测结果,本发明方法的总体表现与wgis相近,但tpr比wgis低。本发明方法的tpr在孔洞类型达到最大值。

表1

表2罗列了星形图像的检测结果,本发明方法的tpr平均值在所有瑕疵类型均达到最优,fpr平均值在粗条纹和断端为最优,npv平均值在所有瑕疵类型中均为最优。在标有“概况”的最后五行中,本发明方法的总体tpr平均值和npv平均值均为最优。

表2

图8和图9是评估涉及的各算法tpr和fpr的散点图(scatterplot),两幅图都显示了根据不同瑕疵类型每幅纺织品图像检测结果计算的tpr和fpr组成的坐标点,例如箱形图像的瑕疵类型断端有49幅图像,则图8和图9中标有“箱形图像断端”的图例中,每个算法在tpr-fpr坐标系中都有49个以tpr和fpr为坐标值的点,每个点的tpr和fpr坐标分别表示算法对1幅瑕疵类型为断端的箱形图像检测结果的tpr和fpr指标值。有些散点图中存在个别算法的坐标点少于图像个数的情况,这是由于有些图像未被该算法识别为含瑕疵的图像,因此不存在相应的指标值。tpr和fpr的理想值分别是1.00和0.00,对应tpr-fpr坐标系的左上角。图8显示了箱形图像各算法检测结果的tpr和fpr值,其中本发明方法的在断端,粗条纹和细条纹的检测效果较好,即对应本发明检测结果的点接近坐标系左上角,wgis虽然有较高的tpr但fpr很高。对于星形图像,即图9所示,本发明方的tpr-fpr点接近坐标系左上角,说明本发明方法具有较好的星形图像检测效果。

以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1