基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法与流程

文档序号:14250593阅读:248来源:国知局
基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法与流程

本发明涉及纺织品瑕疵检测技术领域,特别是涉及一种基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法。



背景技术:

传统的纺织品瑕疵人工识别准确率只有60-75%(参见文献:k.srinivasan,p.h.dastoor,p.radhakrishnaiah,etal..fdas:aknowledge-basedframeworkforanalysisofdefectsinwoventextilestructures,j.text.inst.83(1992)431–448.),机器自动识别纺织品瑕疵的方法具有实际应用需求。平坦纺织品表面的数字图像采样(以下简称纺织品图像)属于二维纹理,二维纹理已被证明可根据17种壁纸群(wallpapergroup)定义的图案排列方法生成(参见文献:h.y.t.ngan,g.k.h.pang,n.h.c.yung.motif-baseddefectdetectionforpatternedfabric,patternrecognit.(2008)1878–1894.),用于生成二维纹理的图案称为图格(lattice)(参见:https://en.wikipedia.org/wiki/wallpaper_group),图格内部图案称为motif。多数纺织品瑕疵自动检测方法只能处理墙纸群中p1类型的纺织品图像(参见文献:h.y.t.ngan,g.k.h.pang,n.h.c.yung.automatedfabricdefectdetection—areview,imageandvisioncomputing29(7)(2011)442–458.),仅有少数方法能处理p1类型以外的纺织品图像(参见文献:h.y.t.ngan,g.k.h.pang,n.h.c.yung.motif-baseddefectdetectionforpatternedfabric,patternrecognit.(2008)1878–1894.),例如基于小波预处理的基准图像差分方法(wavelet-pre-processedgoldenimagesubtraction,以下简称wgis)(参见文献:h.y.t.ngan,g.k.h.pang,n.h.c.yung,etal.,waveletbasedmethodsonpatternedfabricdefectdetection,patternrecognit.38(4)(2005)559–576.),共生矩阵方法(参见文献:c.j.kuo,t.su,grayrelationalanalysisforrecognizingfabricdefects,text.res.j.73(5)(2003)461–465.),布林带方法(bollingerbands,以下简称bb)(参见文献:h.y.t.ngan,g.k.h.pang,novelmethodforpatternedfabricinspectionusingbollingerbands,opt.eng.45(8)(2006)087202-1–087202-15.),规则带方法(regularbands,以下简称rb)(参见文献:h.y.t.ngan,g.k.h.pang,regularityanalysisforpatternedtextureinspection,ieeetrans.autom.sci.eng.6(1)(2009)131–144.),elo评估方法(eloratingmethod,以下简称er)(参见文献:c.s.c.tsang,h.y.t.ngan,g.k.h.pang,fabricinspectionbasedontheeloratingmethod,patternrecognit.51(2016)378–394.)等。尽管这些方法可以处理p1以外的纺织品图像,但它们的计算方法多是建立在基于人工选择的类似格的图案(以下简称图格)之上。例如wgis要求人工选择图格的尺寸和纹理,bb,rb和er要求人工定义图格的尺寸。这些先验知识在一定程度上降低了机器识别纺织品瑕疵的自动化程度。



技术实现要素:

本发明所要解决的技术问题是:为了提高机器识别纺织品瑕疵的自动化程度,本发明提供一种基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法,主要包括设计一种自动分割纺织品图像为图格的方法以及基于图格并混合特征提取方法hog、glcm和gabor相结合的瑕疵识别方法。

为使陈述清楚明了,现集中定义本发明所涉及的部分符号和概念。

表示正整数集合。表示包括零的整数集合。表示包括零的正实数集合。表示包括零的实数集合。表示元素个数为的实向量。表示复数集合。表示元素个数为的复向量。t表示矩阵或向量转置。表示×m大小的实矩阵,其中表示×n×m大小的实矩阵,其中则ai,:表示矩阵a的第i行,a:,j表示矩阵a的第j列。

则al,:,:表示a中大小为n×m的第l层矩阵,al,i,:表示a中大小为n×m的第l层矩阵的第i行,al,:,j表示a中大小为n×m的第l层矩阵的第j列。

表示比小的最大整数,例如

{ai}表示由索引i确定的由元素ai组成的集合或多重集。

|s|表示集合s中的元素个数,若s为向量,则|s|表示向量所含元素个数,|s|称为向量长度。

avg(s)或mean(s):计算集合或多重集s的均值,s的元素均为实数。

std(s):计算集合或多重集s的标准差,s的元素均为实数。med(s):计算集合或多重集s的中位值,s的元素均为实数。mod(s):计算多重集s的众数,s的元素均为实数。max(s)表示找出集合或多重集s的元素最大值,例如max(ic)代表ic中像素的最大灰度值。max(s「条件)表示找出符合条件的的最大值。min(s)表示找出集合或多重集s的元素最小值,例如min(ic)代表ic中像素的最小灰度值。

argmaxsf(s)表示在函数f的定义域内变量s的取值范围中,使得函数f(s)取最大值的s。

argminsf(s)表示在函数f的定义域内变量s的取值范围中,使得函数f(s)取最小值的s。

argmaxsf1(s),2(s)表示在函数f1和f2的定义域交集内变量s的取值范围中,使得函数f1(s)和f2(s)取最大值的s。

表示在函数f(s)的定义域内变量s1和s2的取值范围中,使得函数f(s)取最大值的s1和s2。

argmodi({ai})表示对应多重集{ai}众数mod({ai})的索引。

dimx(i)表示二维图像i的总行数,dimy(i)表示i的总列数。

图像原点:图像中像素行列索引开始的位置,该位置假设在图像左上角并且值为(1,1)。

i(x,y)表示在二维图像i中具有行列索引(x,y)的像素值。行索引由图像原点开始以1为步长向下递增,1≤x≤dimx(i);列索引由图像原点开始以1为步长向右递增,1≤y≤dimy(i)。

图像边界:具有行索引dimx(i)的行和列索引dimy(i)的列。

纺织品图像卡通成分ic:对一幅灰度化的纺织品图像,应用基于曲波(curvelet)和离散余弦变换(localdiscretecosinetransform,以下简称dct)的形态成分分析方法(morphologicalcomponentanalysis,以下简称mca)所计算的具有光滑边缘图案的图像称为卡通成分ic,ic是一幅灰度图像。

dct尺寸:mca在图像局部应用dct,即首先将图像划分为不重叠且具有固定大小的矩形区域,然后对每个区域应用dct,矩形区域的大小称为dct尺寸,单位为像素,区域内一行的像素数称为dct尺寸的宽,一列的像素数称为dct尺寸的高。

阈值系数fc:用于二值化ic的参数,该参数由步骤2计算得到。

二值化卡通成分itc:使用fc·max(ic)作为阈值二值化ic所得到的二值图像,其中1表示前景像素,即ic中灰度值不小于阈值的像素,0表示背景像素。itc与ic的行数和列数相同。

横向投影的多重集,其中1≤k≤dimy(i),即表示行索引为x的背景像素个数。

纵向投影的多重集,其中1≤l≤dimx(i),即表示列索引为y的背景像素个数。

表示的峰值多重集,中的元素称为峰值,峰值是指中满足的元素其中x表示行索引。

表示的峰值多重集,中的元素称为峰值,峰值是指中满足的元素其中y表示列索引。

二值对象质心:itc中二值对象所包含前景像素图像行索引的平均值和列索引的平均值。

表示按操作数顺序连接产生向量,例如标量v1=1和向量v2=[23]t,对于标量s1=8,s2=1,s3=5,对于向量v1=[23]t,v2=[504]t

表示逐元素向量乘法,例如向量v1=[50.94]t,v2=[101]t,那么

其中a,

图格索引(ir,ic):当图像分割为不重叠的图格后,根据图格在图像中的排列位置,每个图格具有唯一的图格行索引ir和唯一的图格列索引ic,图像中左上角图格索引为(1,1),紧邻该图格的右侧图格索引为(1,2),紧邻索引为(1,1)图格的下侧图格索引为(2,1),依此类推。表示图格索引为(ir,ic)的图格,其中l1,1称为第一个图格。

图格像素索引:图格由像素组成,因此图格是一副图像,图像原点和像素行列索引的定义也适用于图格像素索引。

图格尺寸:图格所含像素行数与列数。

图格纹理种类:基于图格分割和纺织品灰度图像产生图格纹理的种类,如图9所示,居中的图像根据图格分割产生了5×7个图格,按照图格的纹理,35个图格可分为3类。

图格矩阵:以图格为单位的矩阵,即矩阵中每个元素都是一个图格。如图10所示,每个图像包含2×2的图格,对应一个2×2的图格矩阵,即矩阵中元素索引与图格索引相同。

特征矩阵:使用特征提取方法计算图格矩阵中的每个元素的特征向量,以特征向量为单位组成矩阵,即矩阵中每个元素都是一个图格的特征向量,矩阵中元素索引与其对应的图格在图格矩阵中的索引相同。

训练样本集:n副图像i1,i2…in的分辨率相同,所有图像根据图格分割产生的图格纹理种类及其数量都相同且排列角度均为0°,若图格纹理种类数为且不考虑形状畸变和光照变化等影响图像采样的因素下,第i副图像ii中的图格的纹理相同且l1,1,l2,1…lt,1的纹理均不相同,其中例如附图10所示的四副图像i1,i2,i3和i4根据图格分割,每幅图像产生4个图格,四副图像的图格只有2种纹理类型,且排列方式均满足上述条件。ii称为训练样本。

测试样本集:与训练样本集类似,所有图像分辨率相同,且根据图格分割产生的图格纹理种类及其数量都相同,每幅图像图格的排列方式与训练样本集定义中描述的一致,与训练样本集不同的是,测试样本集中的图像含有位置随机且纹理不属于图格纹理种类的不规则区域,该区域定义为瑕疵。测试样本集中的图像称为测试样本。

特征提取方法名称有序集合t:表示特征提取方法f1,f2…f|t|的名称集合,例如t={hog,lbp},那么|t|=2且f1表示hog方法,f2表示lbp方法。

maxx(a)表示包含行列索引(x,y)的集合a中,行索引x的最大值。minx(a)表示包含行列索引(x,y)的集合a中,行索引x的最小值。maxy(a)表示包含行列索引(x,y)的集合a中,列索引y的最大值。miny(a)表示包含行列索引(x,y)的集合a中,列索引y的最小值。

表示根据横向投影包含的背景像素数计算的熵。表示根据横向投影包含的背景像素数计算的熵。熵阈值ex表示根据一组图格排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。熵阈值ey表示根据一组图格排列角度为0°的无暇纺织品灰度图像计算的均值的整数部分。

在以上定义的基础上,本发明解决其技术问题所采用的技术方案是:一种基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法,包括两个阶段:训练阶段和测试阶段。训练阶段根据一系列无瑕疵纺织品图像(以下简称无暇图像)分割图格并计算瑕疵识别所需参数;测试阶段根据训练阶段得到的参数对一副纺织品图像进行图格分割并判断图格是否包含瑕疵,最后标记含有瑕疵的图格。本发明方法假设纺织品图像具有如下特点:相对于纺织品图像的行和列,图格依图像行的方向横向排列,并按列的方向纵向排列;在mca的卡通成分ic中,图格具有几何形状并与背景像素在灰度上有显著差异。

训练阶段包含三个步骤:步骤1训练样本图格分割,步骤2计算阈值系数和熵阈值,步骤3计算测试阶段参数。测试阶段包含三个步骤:步骤4图像校准,步骤5测试样本图格分割和步骤6瑕疵识别。

步骤1训练样本图格分割。对于一个训练样本,使用形态学成分分析方法(mca,出自文献jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738)计算训练样本卡通成分ic,使用阈值fc·max(ic)二值化ic得到二值图像itc,由moore-neighbor跟踪算法(moore-neighbortracingalgorithm,出自文献jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738)获取itc中对象的闭合边缘。对于每个具有闭合边缘的对象,找出该对象行列索引的极值,如果该对象行索引极值之差的绝对值超过0.75·dimx(itc),或列索引极值之差的绝对值超过0.75·dimy(itc),则从itc中删除该对象。统计itc每行和每列的背景像素个数,按行和列的索引分别排列背景像素个数构成背景像素的横向投影和纵向投影的峰值分别记为多重集分别应用自适应k-mean算法(adaptivek-means)算法(jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738,以下简称自适应聚类算法)进行聚类,聚类中心分别保存为多重集有可能包含多个相近的聚类中心,这些相近聚类中心中的最小值被分别选为阈值中不小于的峰值按所对应的行索引,记为s′h;中不小于的峰值按所对应的列索引,记为s′v。对于s′h,将s′h中元素做升序排列,行索引间距的多重集定义为具有行索引连续的稳定行间距的多重集定义如下。

其中xi∈s′h,i为数值连续的正整数。作为图格分界集合sh的初始值,其定义如下。

类似地,可以计算和sv的初始值,定义如下。

根据理想行数和理想列数其中分别表示具有最多元素的对sh和sv进行扩展,即:从min(sh)开始,以步长向itc行索引最小值1移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh并保持sh中元素升序排列,再次计算并重复上述步骤;类似地,从max(sh)开始,以步长向itc行索引最大值dimx(ic)移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh,再次计算并重复上述步骤。对sv以步长做类似扩展。根据sh与sv分别包含的行与列索引,可以将ic按这些索引所在的行与列进行分割,分割所得的区域定义为图格,其定义如下。

其中1≤ir≤|sh|-1且1≤ic≤|sv|-1,因此ic分割出(|sh|-1)·(|sv|-1)个而ir和ic分别是以图格为单位的行与列索引。

步骤2计算阈值系数和熵阈值。对于训练样本集i1,i2…in和n′个fc的可选值c1,c2…cm,根据其中任意训练样本ii(i=1,2…n),通过步骤1可计算n′个理想行数和n′个理想列数其中l=1,2…n′。在ii的多重集和多重集中出现次数最多元素所对应fc的取值分别记为ch(i,l)和cv(i,l),定义如下。

对于ii,如果ch(i,l)与cv(i,l)相同,则相应索引(i,l)保存在集合中,的定义如下。

对于每个即对于ii,如果至少存在一个l′使得ch(i,l′)≡cv(i,l′)成立,则与med({cl})距离最近的ch(i,l′)参与fc的计算,fc的定义如下。

其中ch(i,l)的索引表示取符合定义中的i值。对于训练样本集i1,i2…in中第i幅图像ii,根据参数为fc的步骤1所计算ii的横向投影和纵向投影分别计算的熵的熵对于所有训练样本的分别取这些熵的均值的整数部分得到阈值ex和ey。

步骤3计算测试阶段参数。该步骤具体包括以下三个步骤:步骤3.1计算图格周期;步骤3.2计算图格各特征的理想统计值;步骤3.3计算各特征的理想统计值阈值。

步骤3.1计算图格周期。对于训练样本集i1,i2…in中的第i(1≤i≤n)个训练样本ii,根据步骤2所计算的阈值系数对ii重复步骤1可得sh和sv,根据sh和sv将ii分割为m×n个图格(m=|sh|-1,n=|sv|-1)。使用hog特征提取方法计算ii图格的特征向量并使特征向量索引与其对应的图格索引相同。计算与第ir行中所有图格的欧氏距离,按计算所涉及图格的列索引升序排列,则可构成距离向量。对于对应的距离向量按ic升序排列得到第ir行的n×n距离矩阵。对于将第ir行对应的n×n距离矩阵按ir升序排列得到ii的行距离矩阵类似地,可以计算ii的列距离矩阵对向量(1≤l1≤m,1≤l3≤n)进行傅立叶变换,得到的周期与频谱。根据()的周期与频谱,计算周期中位值和频谱中位值,即图像行周期和图像行频谱。类似地,可以构建ii的列距离矩阵并计算图像列周期和图像列频谱。根据i1,i2…in,可计算n个图像行周期和对应的n个图像行频谱,计算图像行频谱中位值找出高于的图像行频谱所对应的图像行周期,计算这些图像行周期的中位值对图像列周期和图像列频谱重复相同步骤得到图像列频谱中位值和图像列周期中位值则t取值为1,否则通过比较相应的频谱大小确定t的取值,即:若则t取否则t取

步骤3.2计算图格各特征的理想统计值。该步骤包括四个子步骤:步骤3.2.1计算特征统计值,步骤3.2.2计算特征统计值排序,步骤3.2.3计算稳定特征元素,步骤3.2.4计算理想统计值。

步骤3.2.1计算特征统计值,根据步骤3.1计算训练样本集i1,i2…in的图格周期t。对于第i个训练样本ii,根据步骤2分割ii得到图格通过|t|个(t为特征提取方法名称有序集合)输入为二维灰度图像矩阵且输出为一维实向量的特征提取方法f1,f2…f|t|计算ii图格的特征向量基于fj的特征向量长度定义为fj的特征元素数fj。根据假设条件和图格周期t,ii中的图格的纹理相同而l1,1,l2,1…lt,1的纹理均不相同,其中l1,因此存在t类纹理不同的图格并且第k(1≤k≤t)类图格在第ir行和第(ir+l1t)行的列索引相同,因此列索引相同的第k类图格可按行列索引升序组成图格矩阵。对于第k类图格,最多存在t个图格矩阵c1,c2…ct,根据组成图格矩阵的图格,由下式计算第k类图格基于fj的ii的特征统计值

其中表示图格l是第it个图格矩阵的任意元素,表示基于fj的图格矩阵中所有元素(图格)的特征向量中第if个元素(实数)的多重集,其中且1f≤fj,将opt替换为mean,std,max或min时,则定义相应的

步骤3.2.2计算特征统计值排序。计算训练样本i1,i2…in之间基于fj的的欧式距离平均值d(j),其定义如下。

对于f1,f2…f|t|,可得对应的d(1),d(2)…d(|t|)。对于第k类图格纹理和第j个特征提取方法fj(即固定索引k和j),根据i1,i2…in,步骤3.2.1可产生n个应用聚类算法对n个进行聚类,聚类算法类别参数设为t,得到t个类别中心对于根据下式计算离最近的类别中心所对应的类标签u*

其中表示t个聚类算法产生的类别中具有最多元素个数的类别中心,则交换索引(i,j,k)所确定的特征统计值和索引(i,j,k*)所确定的特征统计值,其中k*定义如下。

对于索引k和j的所有固定组合,对于每个重复上述u*的计算并判断是否成立,若成立则重复k*的计算并交换索引(i,j,k)所确定的特征统计值和索引(i,j,k*)所确定的特征统计值。根据d(j)的定义,再次计算训练样本i1,i2…i2之间基于fj的的欧式距离平均值,得到对应f1,f2…f|t|的d′(1),d′(2)…d′(|t|)。若d(j)≥d′(j)对于都成立,则保留上述特征统计值交换结果,否则将特征统计值排序恢复到步骤3.2.1结束时的状态。

步骤3.2.3计算稳定特征元素。对于第k类图格纹理和第j个特征提取方法fj(即固定索引k和j),根据上述步骤和i1,i2…in计算的n个的第if(1≤if≤fj)个元素的第if个元素可计算第k类图格纹理基于fj的特征向量第if个元素的稳定值s(j,k)(if),其定义如下

将s(j,k)(if)按索引if升序排列则得到第k类图格纹理基于fj的稳定值向量s(j,k)。若参数nf表示预定义的最小特征向量长度,那么当nf<fj成立时,应用自适应聚类算法对s(j,k)(1),s(j,k)(2)…s(j,k)(fj)进行聚类,若将自适应聚类算法产生的类别按从1开始的正整数依次编号,第if个稳定值s(j,k)(if)所属类别编号记为ls(if),则这些编号定义集合ls。若定义预设参数最小特征数则第k类图格纹理基于fj的特征向量第if个元素的稳定性定义如下。

表示将自适应聚类算法产生的类别按其元素数量降序排列得到的前nf个类别的编号集合。将按索引if升序排列则得到第k类图格纹理基于fj的稳定性向量对于索引k和j的所有固定组合,重复上述的计算。

步骤3.2.4计算理想统计值。对于第k类图格纹理和第j个特征提取方法fj(即固定索引k和j),根据上述步骤和i1,i2…in可计算通过自适应聚类算法,可对向量进行聚类,若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第i个向量所属类别编号记为则这些编号定义集合对于第iu个类别,第k类图格纹理基于fj的理想统计值定义如下。

表示属于第k类图格纹理基于fj的第iu个子类图格纹理的特征统计值中均值的平均值。对于索引k和j的所有固定组合,重复上述的计算。

步骤3.3计算各特征的理想统计值阈值。根据训练样本集和上述步骤,可计算基于第j个特征提取方法fj的第k类图格纹理的第iu个子类图格纹理的理想统计值(即固定索引j,k和iu)。对于任意训练样本由步骤2产生的任意图格l,根据其特征向量fj(l)按下式计算理想统计值索引k*

对于可能存在多个l其理想统计值索引满足k*=k和这些图格组成集合成立时,可按下式计算基于第j个特征提取方法的第k类图格纹理的第iu个子类图格纹理的最大距离即理想统计值阈值。

对于索引j,k和iu的所有固定组合,重复上述的计算。

步骤4图象校准。对于图格排列角度未知的测试样本i,使用canny边缘检测方法计算i的边缘,使用hough变换将边缘投影到参数空间中,取参数空间中前nθ个峰值所对应的直线斜率的角度θ,根据所取θ旋转i,得到nθ个旋转图像,根据每个旋转图像的计算中最大值对应的角度将i旋转得到最终的校准结果。

步骤5测试样本图格分割。对步骤4产生的校准结果,根据步骤2得到的阈值系数重复步骤1得到测试样本校准结果的行分割位置和列分割位置并根据将测试样本分割为图格。

步骤6瑕疵识别。对测试样本的任意图格根据特征提取方法f1,f2…f|t|计算特征向量对于fj计算的特征向量根据步骤3.2和步骤3.3计算理想统计值索引k*标记为有瑕疵,否则标记为无瑕疵。当所有图格基于fj的标记结束,检查每个有瑕疵图格ll的8临域内图格的标记,若存在无暇图格则判断是否成立,若成立则标记为有瑕疵并令且按下式计算dl+1,继续检查内图格的标记并重复上述步骤直至dl+1为

其中阈值系数0<γ≤1,l1表示基于fj的标记结束得到的有暇图格。当动态阈值为时,全部有暇图格所包含像素的行列索引即为检测结果。

本发明的有益效果是:本发明提供的一种基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法,该方法分析基于照明光源下平坦纺织品表面的数字图像像素灰度信息,将图像分割为互不重叠的网格,计算每个网格的irm,hog,glcm和gabor特征值,根据特征值分布自动定位纺织品表面瑕疵。本发明特别适用于自动识别在稳定照明光源下采集的纺织品平坦表面灰度数字图像中的纺织品表面瑕疵。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的总流程示意图;图2是本发明的假设条件示意图;图3是本发明的步骤1训练样本图格分割的流程示意图;图4是本发明的步骤1中计算sh初始值的基本原理示意图;图5是本发明的步骤2中纹理相同但方向各异的纺织品图像背景像素分布示意图;图6是本发明的步骤4中图像校准示意图;图7是本发明的步骤4中图像旋转示意图;图8是本发明的步骤3.1中计算图格周期流程示意图;图9是本发明的步骤3.2.1中计算每个无暇纺织品灰度图像的特征统计值流程示意图;图10是本发明的步骤3.2.2中训练样本集示意图;图11是本发明的步骤3.2.2中排序流程示意图;图12是本发明的步骤3.3中计算各特征的理想统计值阈值流程示意图;图13是本发明的步骤6中瑕疵识别过程示意图;图14是步骤1图格分割算法流程图;图15是步骤2计算阈值系数和熵阈值算法流程图;图16是步骤3.1计算图格周期算法流程图;图17是算法a.1计算特征矩阵算法流程图;图18是算法a.2计算距离算法流程图;图19是算法a.3计算信号周期算法流程图;图20是步骤3.2.1计算特征统计值算法流程图;图21是步骤3.2.2计算特征统计值排序算法流程图;图22是步骤3.2.3计算稳定特征元素算法流程图;图23是步骤3.2.4计算理想统计值算法流程图;图24是步骤3.3计算各特征的理想统计值阈值算法流程图;图25是步骤4图像校准算法流程图;图26是算法a.4图像旋转算法流程图;图27是步骤6瑕疵识别算法流程图。

具体实施方式

现在结合附图对本发明作详细的说明。此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。

本发明计算方法的实施方式由编写计算机程序完成,具体实施过程涉及的自定义算法由伪代码描述。程序输入为灰度化的纺织品图像,程序输出为含瑕疵的图格集合。本发明的实施方案包括六个步骤,前三个步骤为训练阶段,后三个步骤为测试阶段。

所述训练阶段包括以下步骤:步骤1:使用形态学成分分析方法计算训练样本卡通成分ic,将ic按索引所在的行与列进行分割,获得训练样本图格;步骤2:根据步骤1中获得的训练样本图格,计算任意训练样本的理想行数和理想列数,以获得阈值系数,然后根据训练样本的横向投影和纵向投影计算熵阈值,重复上述步骤以计算得到所有训练样本的阈值系数和熵阈值;步骤3:对于训练样本集中任一训练样本,根据步骤2中所计算的阈值系数和熵阈值,采用hog特征提取方法计算图格的特征向量,由特征向量计算距离矩阵,将距离矩阵经过傅里叶变换得到计算图格周期;根据图格周期计算图格各特征的理想统计值;

所述测试阶段包括以下步骤:步骤4:图像校准,对于图格排列角度未知的测试样本,使用canny边缘检测方法计算测试样本的边缘,使用hough变换将边缘投影到参数空间中,取参数空间中前nθ个峰值所对应的直线斜率的角度θ,根据所取θ旋转测试样本,得到nθ个旋转图像,根据每个旋转图像的横向投影和纵向投影计算横向投影熵和纵向投影熵的最大值对应的角度将测试样本旋转得到最终的校准结果;步骤5:测试样本图格分割,对步骤4产生的校准结果,根据步骤2得到的阈值系数重复步骤1得到测试样本校准结果的行分割位置和列分割位置并根据将测试样本分割为图格;步骤6:瑕疵识别,按照步骤3的方法计算测试样本的特征向量、图格周期、图格各特征的理想统计值以及理想统计值阈值,并将计算结果与理想统计值阈值进行比较,以识别有瑕疵的图格。该方法的顺序及逻辑关系详见图1。

如图2所示,本发明方法假设纺织品图像具有如下特点:相对于纺织品图像的行和列,图格依图像行的方向横向排列,并按列的方向纵向排列;在mca的卡通成分ic中,图格具有几何形状并与背景像素在灰度上有显著差异。图2中显示三种情况,每一行显示了一种情况,每行第一列是纺织品图像,第二列是ic,第三列是ic的三维mesh图,第四列是二值化卡通成分每行背景像素的个数分布,第四列图的横坐标是行索引,纵坐标是背景像素个数。图2中第一行纺织品图像的图格没有几何形状,这导致了背景像素分布缺乏明显的周期性;第二行纺织品图像的图格虽然有几何形状,但图格中的形状与背景在ic中的差异小,即相应的mesh图大部分区域几乎是平坦的,这导致背景像素数量过多,背景像素分布缺乏明显的周期性;第三行纺织品图像图格具有几何形状并在ic中与背景的差异大,其背景像素分布具有周期性。

以下分别对这六个步骤展开说明。

1、训练阶段

如图1所示,训练阶段首先根据一系列无暇纺织品灰度图像计算图格分割所需参数,而后对无暇图像进行图格分割并计算测试阶段所需参数。训练阶段包含三个步骤:步骤1训练样本图格分割,步骤2计算阈值系数和熵阈值,步骤3计算测试阶段参数。本发明提出的图格分割方法根据步骤2得到的参数,通过步骤1分割图格。

步骤1训练样本图格分割。如图3所示,对于一幅给定的纺织品图像,根据如图14所示的图格分割算法,使用mca计算ic和纹理成分,根据如图15所示的计算阈值系数和熵阈值的算法,计算得到的阈值系数fc,使用阈值fc·max(ic)二值化ic得到itc。图3中显示了ic的mesh图,ic中的二维图案在mesh图中显示为三维“山峰”,二值化ic相当于用一个灰色平面截断山峰,山峰平面上方的部分所对应的像素保存为1,山峰平面下方的部分所对应的像素保存为0,这个二值化结果为itc,即图3右下方箭头“使用阈值二值化ic得到itc”所指的图案。

假设纺织品图像至少由4个图格构成,那么itc中对应图格的对象尺寸应小于图像尺寸的一半,因此如果出现了尺寸过大的情况,那么这个对象则不是图格,应从itc中删除尺寸过大的对象,即:由moore-neighbor跟踪算法(moore-neighbortracingalgorithm,出自文献jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738)获取itc中对象的闭合边缘。对于每个具有闭合边缘的对象,找出该对象行列索引的极值,如果该对象行索引极值之差的绝对值超过0.75·dimx(itc),或列索引极值之差的绝对值超过0.75·dimy(itc),则从itc中删除该对象,即将尺寸过大的对象的像素置为0。

纺织品图像图格的几何形状被itc中的二值对象所描述,图格的丰富多样导致了二值对象几何形状的多样性,但二值对象之间背景像素的分布受其形状影响小,即:不同形状的二值对象,如果其沿相同方向的分布相同,那么背景像素在该方向上的分布相似。如图3所示,统计二值化卡通成分每行和每列的背景像素个数,按行和列的次序分别排列背景像素个数即构成了背景像素的横向投影和纵向投影的峰值分别记为多重集即图3中横向投影和纵向投影图示中靠近标签“横向投影”和“纵向投影”的深色小点,这些峰值反映了itc中图格的分界。

为获取这些峰值而过滤其他峰值,对分别应用自适应k-mean算法(adaptivek-means)算法(jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738,以下简称自适应聚类算法)进行聚类,聚类中心分别保存为多重集

由于数据的随机性,有可能包含多个相近的聚类中心,这些相近聚类中心中的最小值被分别选为阈值即:将降序排列,从开始,计算前后两元素之差的绝对值,差大于dct尺寸高的的第一个元素为类似地,将降序排列,从开始,计算前后两元素之差的绝对值,差大于dct尺寸宽的的第一个元素为中不小于的峰值按所对应的行索引,记为s′h;中不小于的峰值按所对应的列索引,记为s′v。

由于瑕疵等因素的干扰,s′h和s′v中的行列索引不一定准确反映图格的分界。因此,需要评估s′h中是否存在具有稳定行间距的行索引,以及s′v中是否存在具有稳定列间距的列索引,这些行列索引作为图格的分界以分割图格。对于s′h,将s′h中元素做升序排列,行索引间距的多重集定义为具有行索引连续的稳定行间距的多重集定义如下。

其中xi∈s′h,i为数值连续的正整数,例如i可以取2,3,4,但不能只取2和4。由于可能存在多个符合定义的连续间距,所以可能存在多个其中具有最多元素个数的(记作)所对应的行索引作为图格分界集合sh的初始值,其定义如下。

如图4所示,显示了以一副纺织品图像横向投影为基础计算sh初始值的过程,左侧显示了峰值以深色小点表示,对进行聚类则得到图4中通过聚类得到了7个类的聚类中心,根据的聚类中心计算得到阈值即图中标有的直线上的叉。根据筛选的元素,删除较小峰值,即图4中间的图示,根据行索引连续的峰值的行索引计算其行间距,则得到具有不同长度(元素个数)的其中具有最多元素的(即图4中标有“最大的”)为sh的初始值即为如图4最右侧所示。

类似地,可以计算和sv的初始值,定义如下。

因为sh与sv初始值所对应的分别包含稳定行间距和稳定列间距,因此中位值定义为理想行数和理想列数sh与sv的初始值示例见附图3,如图3所示,纺织品图像仅部分区域被sh和sv的初始值同时覆盖,即图3标有“sh和sv的初始值”图示中的网格,只有竖直直线的区域仅有sv覆盖。sh和sv的扩展基于进行。由于sh中的行索引按升序排列,从min(sh)开始,以步长向itc行索引最小值1移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh并保持sh中元素升序排列,再次计算并重复上述步骤;类似地,从max(sh)开始,以步长向itc行索引最大值dimx(ic)移动,即计算检查是否存在满足如果存在x′,则将x′添加进sh,否则将x添加进sh,再次计算并重复上述步骤。对sv以步长做类似扩展,详见图14所示的图格分割算法流程。扩展得到的sh与sv基本覆盖了纺织品图像大部分区域,如图3所示。根据sh与sv分别包含的行与列索引,可以将ic按这些索引所在的行与列进行分割,分割所得的区域定义为图格,其定义如下。

其中1≤ir≤|sh|-1且1≤ic≤|sv|-1,因此ic分割出(|sh|-1)·(|sv|-1)个而ir和ic分别是以图格为单位的行与列索引。

步骤2计算阈值系数和熵阈值。图格分割的一个重要参数是阈值系数fc,如图3所示,ic的二值化是基于阈值fc·max(ic)完成,而该阈值取决于fc。对于训练样本集i1,i2…in的ii应用基于不同fc取值的图格分割算法(其流程如图14所示)能得到多个计算所得的的直方图,其中出现次数最多的及其对应的fc取值对确定fc的最终取值具有参考意义。对于训练样本集i1,i2…in和n′个fc的可选值c1,c2…cm,令分别表示输入为ii,i=1,2…n且fc=cl,l=1,2…n′的步骤1计算得到的对于每个ii都存在n′个和n′个在关于ii的多重集和多重集中出现次数最多元素所对应的fc取值分别记为ch(i,l)和cv(i,l),定义如下。

对于ii,如果ch(i,l)与cv(i,l)相同,则相应索引(i,l)保存在集合中,的定义如下。

对于每个即对于ii,如果至少存在一个l′使得ch(i,l′)≡cv(i,l′)成立,则与med({cl})距离最近的ch(i,l′)参与fc的计算,fc的定义如下。

其中ch(i,l)的索引表示取符合定义中的i值。图像校准建立在对二值化纺织品图像卡通成分中背景像素分布的分析上,如图5所示。在图5中,位于中心的纺织品图像从0°开始,每隔15°旋转一次,一共旋转了7次(即0°,15°,30°,…),旋转的图像按顺时针方向围绕原图像排列,每幅图像根据参数为fc的步骤1所计算的横向投影和纵向投影以图形方式显示,图形下方标注有分别根据计算的熵观察附图5所示的可以发现0°和90°图像的熵超过其它旋转图像的熵。对于训练样本集i1,i2…in,计算每幅图像的取这些熵的均值的整数部分得到两个阈值ex和ey,可以用于判断图格的排列角度是否接近0°或90°的倍数。ex和ey的计算过程的伪代码描述见图15所示的计算阈值系数和熵阈值的算法流程。

步骤3计算测试阶段参数。该步骤具体包括以下三个步骤:步骤3.1计算图格周期;步骤3.2计算图格各特征的理想统计值;步骤3.3计算各特征的理想统计值阈值。

步骤3.1计算图格周期流程详见图8。根据训练样本集i1,2…in和步骤1.3可计算图格理想尺寸行数和列数再由步骤2分割第i(1≤n)个训练样本ii得到ii的m×n个图格。假设在ii的每行和每列图格中,每相隔t′-1个图格的两个图格的纹理相同,t′取值中的最小值称为图格周期t。例如t=1时,ii的所有图格的纹理相同;t=2时,ii的图格纹理每隔一个图格则相同。按图格的纹理分类,则ii有t个类型的图格纹理。使用hog(dalal,n.,triggsb.,histogramsoforientedgradientsforhumandetection,ieeecomput.soc.conf.oncomput.visionandpatternrecognition1(2005)886–893)特征提取方法(以下简称hog方法)计算ii图格的特征向量并使特征向量索引与其对应的图格索引相同,即按图格的排列方式排列图格所对应的特征向量。对于ii的图格(1≤ir≤m,1≤ic≤n),计算与第ir行中所有图格的欧氏距离,按计算所涉及图格的列索引升序排列,则可构成距离向量。因此固定第ir行中每个图格,根据第ir行的所有图格都可计算一个距离向量,将这些距离向量按计算所涉及的固定图格列索引升序排列,则得到基于第ir行的n×n距离矩阵,将距离矩阵按ir升序排列,得到ii的行距离矩阵类似地,可以计算ii的列距离矩阵将向量作为一维信号进行快速傅立叶变换(fastfouriertransform,以下简称fft),则可得到的周期与频谱,这个周期和频谱定义为为ii的行周期和行频谱,计算所有1≤l1≤m和1≤l3≤n所对应的的行周期和行频谱并计算行周期中位值和行频谱中位值,所得中位值分别定义为图像行周期和图像行频谱。类似地,根据列距离矩阵d(c),可以计算ii的列周期和列频谱,并计算相应的图像列周期和图像列频谱。附图8展示了i1,i2…in的行周期和行频谱的概念性二维散点图,列周期和列频谱的概念性二维散点图。根据i1,i2…in,可计算n个图像行周期和对应的n个图像行频谱,计算图像行频谱中位值找出高于的图像行频谱所对应的图像行周期,计算这些图像行周期的中位值对图像列周期和图像列频谱重复相同步骤得到图像列频谱中位值和图像列周期中位值则t取值为1,否则通过比较相应的频谱确定t的取值,即:若则t取否则t取步骤3.1算法流程详见图16所示的计算图格周期算法流程图,图17所示的算法a.1计算特征矩阵算法流程图,图18所示的算法a.2距离计算算法流程图以及图19所示的算法a.3计算信号周期算法流程图。

步骤3.2包括四个子步骤:步骤3.2.1计算特征统计值,步骤3.2.2计算特征统计值排序,步骤3.2.3计算稳定特征元素,步骤3.2.4计算理想统计值。

步骤3.2.1计算每个无暇纺织品灰度图像的特征统计值。根据上述步骤计算训练样本集i1,i2…in的图格周期t,即纹理相同图格的排列规律。对于第i副无暇图像ii,可以分为t类纹理不同的图格,第ir行第k类图格和第(ir+t)行该类图格的图格列索引取值相同,由此可在ii中只访问同属一类的图格,对于第k类图格,第ir行,第(ir+t)行,第(ir+2t)行…,的该类图格可组成矩阵,该矩阵称为图格矩阵,对于第k类图格,图格矩阵最多可存在t个,即c1,c2…ct。如图9所示,当t=3时,第3类图格有3个矩阵:c1由第1行和第4行(即1+t行)的第3类图格组成,c2由第2行第5行的第3类图格组成,c3由第3行的第3类图格组成。假设存在|t|个输入为二维灰度图像矩阵且输出为一维实向量的特征提取方法f1,f2…f|t|,这些特征提取方法对于行数及列数相同的输入图像产生长度相同的特征向量,那么ii中的图格可根据f1,f2…f|t|计算|t|个特征向量若ii所有图格的尺寸根据i1,i2…in中图格所含像素最小行数nr与最小列数nc进行调整,即只保留图格内第1行到第nr行和第1行到第nc列的像素,则ii中任意两个图格基于fj的特征向量长度相同,即这个基于fj的特征向量长度定义为fj的特征元素数fj。对于ii中第k类图格,可根据该类图格的图格矩阵c1,c2…ct计算基于fj的特征向量中每个元素的均值标准差最大值和最小值这4个值定义为ii的特征统计值,即由下式定义。

其中表示图格l是第it个图格矩阵的任意元素,其中表示基于fj的图格矩阵中所有元素(图格)的特征向量中第if个元素(实数)的多重集,将opt替换为mean,std,max或min时,则定义相应的步骤3.2.1流程详见图20所示的计算特征统计值算法流程图。

步骤3.2.2计算特征统计值排序。虽然i1,i2…in为同一训练样本集的无暇样本,但训练样本集的定义并不保证每个样本中第一个图格l1,1的纹理相同。如图10所示的训练样本集,该训练样本集包含4副无暇图像i1,i2,i3和i4,其中i3中l1,1的纹理和其它样本中的第一个图格纹理不同。如果所有训练样本的第一个图格的纹理不同,那么步骤3.2.1计算特征统计值就需要重新排序。如图11所示,训练样本集包含训练样本i1,i2,i3,i4,i5和i6,其中i4的l1,1与其它样本的第一个图格纹理不同,导致特征统计值与其它样本的排序也不同。如果所有训练样本的第一个图格纹理都相同,那么排序则没有意义。为了检测排序是否必要,计算训练样本i1,i2…in之间基于fj的(1≤i≤n,1≤k≤t)的欧式距离平均值d(j),其定义如下。

对于f1,f2…f|t|,可得对应的d(1),d(2)…d(|t|),相应地,在完成排序后可再次根据上式计算d′(1),d′(2)…d′(|t|),比较前后两组距离平均值,若d(j)≥d′(j)对于1≤j≤|t|都成立,则保留排序结果,否则恢复排序前的状态。排序流程如图11所示。对于第k类图格纹理的n个(1≤i≤n),应用聚类算法对其聚类,聚类算法类别参数设为t,则得到t个类别中心对于根据下式计算离最近的类别中心所对应的类标签u*

其中表示t个类别中具有最多元素个数的类的中心,则交换索引(i,j,k)所确定的特征统计值与索引(i,j,k*)所确定的特征统计值,其中k*定义如下。

对于索引k和j的所有固定组合,对于每个重复上述u*的计算并判断是否成立,若成立则重复k*的计算并交换索引(i,j,k)所确定的特征统计值和索引(i,j,k*)所确定的特征统计值。步骤3.2.2流程详见图21所示的计算特征统计值排序算法流程图。

步骤3.2.3计算稳定特征元素。根据训练样本集中i1,i2…in的t种图格纹理可计算基于fj的n×t组特征统计值,对于第k(1≤k≤t)类图格纹理,根据其(1≤i≤n)的第if(1≤if≤fj)个元素的第if个元素其中fj为fj(1≤j≤|t|)的特征元素数,可计算第k类图格纹理基于fj的特征向量第if个元素的稳定值s(j,k)(if),其定义如下。

将s(j,k)(if)按索引if升序排列则得到第k类图格纹理基于fj的稳定值向量s(j,k)。若参数nf表示预定义的最小特征向量长度,本方法nf取值为nf=8,那么当nf<fj成立时,应用自适应聚类算法对第k类图格纹理基于fj的fj个稳定值进行聚类,若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第if个稳定值s(j,k)(if)所属类别的编号记为ls(if),则这些编号定义集合ls。若定义预设参数最小特征数则第k类图格纹理基于fj的特征向量第if个元素的稳定性定义如下。

其中δ为狄拉克δ函数,表示将自适应聚类算法产生的类别按类别所包含元素数降序排列得到的前nf个类别的编号集合。将按索引if升序排列则得到第k类图格纹理基于fj的稳定性向量对于索引k和j的所有固定组合,重复上述的计算。步骤3.2.3流程详见图22所示的算法流程图。

步骤3.2.4计算理想统计值。对于训练样本集中i1,i2…in的第k(1≤k≤t)类图格纹理,根据步骤3.2.3可计算第k类图格纹理基于fj(1≤j≤|t|)的稳定性向量通过自适应聚类算法,可对向量进行聚类,若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第i(1≤i≤n)个向量所属类别的编号记为则这些编号定义集合在实际情况中,可能会发生接近的情况,因此定义参数若u(j,k)>nk,则重新进行聚类,本方法nk取值为nk=5。对于第iu(1≤iu≤u(j,k))个类别,第k类图格纹理基于fj的理想统计值定义如下。

表示属于第k类图格纹理基于fj的第iu个子类图格纹理的特征统计值中均值的平均值。对于索引k和j的所有固定组合,重复上述的计算。步骤3.2.4流程详见图23所示的计算理想统计值算法图。

步骤3.3计算各特征的理想统计值阈值。对于训练样本集中i1,i2…in,根据步骤3.2.4可得到第k(1≤t)类图格纹理基于fj(1≤j≤|t|)的第iu(1≤iu≤u(j,k))个子类图格纹理的理想统计值对于任意训练样本根据图格分割产生的任意图格l,可计算基于fj的特征向量fj(l)及其和所有理想统计值之间的欧氏距离,可找出其中最小距离所对应的理想统计值索引k*定义如下。

因此,对于第k类图格纹理基于fj的第iu个子类图格纹理的理想统计值可能存在多个图格且图格相关的k*的索引k和iu相同,这些图格组成集合成立时,可计算中图格的特征向量与的最大距离定义如下。

对于索引j,k和iu的所有固定组合,重复上述的计算。即为理想统计值阈值,其计算过程如附图12所示。附图12中,左侧为已完成图格分割的纺织品灰度图像,该图像包括2类图格纹理,对于图像中的任意图格根据f1,f2…f|t|计算该图格的|t|个特征向量对于第j个特征向量计算k*结果以包含对应图格位置灰度色块的图像表示,其中深色灰度色块表示小距离,每个色块上的数字从左到右依次为k*对于对应的索引k和iu,删除相应的步骤3.3流程详见图24所示的计算各特征的理想统计值阈值算法流程图。

2、测试阶段

在训练阶段得到的参数基础上,测试阶段对测试样本集中的一副图像进行瑕疵检测和定位。测试阶段包含三个步骤:步骤4图象校准,步骤5测试样本图格分割和步骤6瑕疵识别。

步骤4图象校准。对于图格排列角度未知的测试样本i,将i依次旋转θ=1°,2°,3°…360°并计算相应的如果角度θ中存在对应最大值的那么称为理想校准角度,对应的旋转图像则作为校准结果。的定义如下。

上述计算的过程由于θ的取值过多,计算效率不高,本法采用如图6所示的流程计算的近似值。如图6所示,对于图格排列角度未知的纺织品图像i,本发明使用canny边缘检测方法计算i的边缘,使用hough变换将边缘投影到参数空间中,取参数空间中前nθ个峰值所对应的直线斜率的角度θ,根据所取θ旋转i,得到nθ个旋转图像,根据每个旋转图像的计算中最大值对应的角度,用该角度近似对应的旋转图像则作为最终的校准结果。校准流程的伪代码描述见图25所示图像校准算法流程图。

虽然图像旋转可以通过仿射变换完成,但由仿射变换的图像的边角部分为空,如图7所示。图7中从左往右数依次排列了5幅图像,第一幅显示了图格按37°排列的纺织品图像i,第二副显示了应用仿射变换旋转负37°得到的图像(原始ir),该图像中出现了留空(像素值为0)的4个三角形区域如果不处理这些留空区域,那么这些区域不仅会影响的计算,还有可能被后续步骤识别为瑕疵。为填充本发明采取了找出过斜边端点且平行于的较长的直角边的直线,以该直线为对称轴将仿射变换得到的原始旋转图像ir的像素复制给附图7中从左往右数的第三幅和第四副图像视觉化了该过程,其伪代码描述见图26所示图像旋转算法流程图。图7最右边标有“最终ir”的图像是图像旋转算法的旋转结果,虽然留空区域得到填充,但一些伪影(artifacts)出现在旋转结果中,例如左下角的图格排列出现了错位。

步骤5测试样本图格分割。对步骤4产生的校准结果,根据步骤2得到的阈值系数重复步骤1得到测试样本校准结果的行分割位置和列分割位置并根据将测试样本分割为图格。

步骤6瑕疵识别,流程如附图13所示。对于一副给定纺织品灰度图像i,由步骤5产生i的图格,对i中的任意图格根据特征提取方法f1,f2…f|t|计算的|t|个特征向量对于基于fj的特征向量计算步骤3.3定义的理想统计值索引k*并比较特征值距离的大小,若标记为有瑕疵,否则标记为无瑕疵。

当所有图格基于fj的标记结束,检查每个有瑕疵图格ll的8临域内图格的标记,若存在无暇图格则比较与动态阈值dl的大小,若标记为有瑕疵并令且按下式计算dl+1,继续检查内图格的标记,并重复上述步骤直至新计算的动态阈值为

其中0<γ≤1,本方法取值为γ=0.93,l1表示基于fj的标记结束得到的有暇图格。当动态阈值为时,全部有暇图格所包含像素的行列索引即为检测结果。

步骤6流程详见图27所示瑕疵识别算法流程图。

本发明的高效性实验证明:

本发明方法的瑕疵检测效果评估中使用了香港大学电气和电子工程系工业自动化实验室提供的56幅像素大小为256×256的24位彩色纺织品图像,在实验中这些图像被转换为8位的灰度图像。56幅图像包括一种图案:箱形图像。箱形图像包括26幅无瑕疵和30幅有瑕疵图像。对每个有暇纺织品图像使用算法a.4以随机角度生成10幅旋转图像,然后删除存在严重伪影的图像,最终得到251张图格按随机方向排列的有暇纺织品图像作为测试样本集和未经旋转的26张无暇纺织品图像作为训练样本集。训练样本集包括5种瑕疵类型:断端(brokenend),孔洞(hole),网纹(nettingmultiple),粗条纹(thickbar)和细条纹(thinbar),每种瑕疵类型的具体数量详见表1的第一列。所有瑕疵图像都有相同大小的瑕疵基准图(ground-truthimage),瑕疵基准图为2值图像,其中1表示瑕疵,0表示背景。用于比较的算法包括wgis,bb,rb和er,这些算法的参数设置与文献(jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738)相同。本发明方法基于该数据集的参数选择为:最小特征数nf=8,类别数极限nk=5,阈值系数γ=0.93,t={“hog”,“glcm”,“gabor”}。

用于评估的指标包括真阳性(truepositive,以下简称tp),假阳性(positiverate,以下简称fpr),真阳性率(truepositiverate,以下简称tpr),假阳性率(positiverate,以下简称fpr),阳性预测值(positivepredictivevalue,以下简称ppv)和阴性预测值negativepredictivevalue,以下简称npv)。tpr衡量瑕疵基准图中表示瑕疵的像素被算法正确标定为瑕疵的比例,fpr衡量瑕疵基准图中表示背景的像素被算法错误标定为瑕疵的比例,ppv衡量算法输出的瑕疵中瑕疵基准图中的瑕疵所占比例,npv衡量算法输出的背景中瑕疵基准图中的背景所占比例。对于tpr,ppv和npv,指标值越大越好,对于fpr则越小越好。相关数学定义可以在文献(m.k.ng,h.y.t.ngan,x.yuan,,etal.,patternedfabricinspectionandvisualizationbythemethodofimagedecomposition,ieeetrans.autom.sci.eng.11(3)(2014)943–947)中找到。本发明方法,wgis,bb,rb和er的指标计算方法与文献(jial.,liangj.,fabricdefectinspectionbasedonisotropiclatticesegmentation,journalofthefranklininstitute354(13)(2017)5694-5738)相同。实验硬件平台为含处理器intelcoretmi7-3610qm230-ghz和8.00gb内存的笔记本电脑,软件为windows10和maltab8.4。

表1罗列了箱形图像瑕疵检测结果,其中标记瑕疵类型的每行指标值为对应方法对该瑕疵类型所有测试样本运算结果的指标平均值。根据表1概况一栏,本发明方法具有最优的全局tpr(0.724)和全局npv(0.994),其全局tpr比wgis次高的全局tpr(0.558)高很多,但wgis的全局fpr较低。对于孔洞,网纹和细条纹类型的瑕疵,本发明方法的tpr达到最优,同时fpr偏大。断端和粗条纹tpr(0.68;0.85)比wgis(0.98;1.00)低,但fpr(0.2,0.3)比wgis(0.12,0.16)高。综上,本发明方法达到了全局最优tpr和npv,其全局fpr较大,同时本发明方法特别适用于检测箱形图像的孔洞,网纹和细条纹类型的瑕疵。

表1箱形图像瑕疵检测结果

以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关的工作人员完全可以在不偏离本发明的范围内,进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1