一种大圆机的坏针瑕疵检测方法与流程

本发明涉及一种视觉检测方法，主要适用于纺织设备的布匹实时检测，特别涉及一种大圆机的坏针瑕疵检测方法。

背景技术：

我国对织物瑕疵自动检测的研究目前还没有较成熟的织物自动检测系统的商业化应用。对于瑕疵识别的研究主要还处于理论阶段。在这一方面国内的织物自动检测系统需要朝着实用化和商业化方面发展。织物的瑕疵种类繁多，如坏针、破洞、缩纬等给工厂生产优质织物造成巨大问题。因此，需要一个可行的织物瑕疵检测方法来提高织物的生产效率及质量。

技术实现要素：

本发明的目的在于提供一种大圆机的坏针瑕疵检测方法，能实时检测织物上的坏针瑕疵，利用机器代替人工操作，大大减少生产中的人力、物力，使得织物生产效率更高，质量更优，并能和现有系统互连互通。

本发明一种大圆机的坏针瑕疵检测方法，具体包括如下步骤：

步骤1、通过设置于大圆机内的图像采集设备，实时采集织物图像，并将该织物图像上传至控制终端；

步骤2、对传输到控制终端的织物图像进行数据预处理

步骤21、对织物图像进行自适应增强滤波：

通过方差均衡法对织物图像进行均衡化处理，使得处理后的织物图像达到要求的平均灰度和方差；

把织物图像分成w×w个重叠的像素块，对织物图像进行方向场计算机平滑，然后求取每一像素块纹线方向信息的可靠性，计算出每一像素块的方向场，若以(i,j)为中心的像素块纹线方向信息的可靠性χ(i,j)小于阈值t时，说明计算出的该像素块的方向场可靠，对于每个像素块，根据计算出的方向场，计算出该像素块所有像素旋转后的坐标(x'，y')，通过gaussian函数和像素块旋转后的像素点的值作卷积运算，并将卷积后的值局限在[0,255]之间，最后将该值作为子块中间的像素值，得到增强图像；

步骤22、对增强后的织物图像进行感兴趣区域分割

利用快速均值漂移算法进行预分割，使用g(x)表示梯度估计：

这里，“～”表示正比于，“avg”表示求平均，xi为实际的特征采样点，wh,x表示以x为中心的特征区域；

通过上述融合边缘信息的均值漂移算法将增强后的织物图像有效地分割为多个具有准确边界的同质区域，并将这些区域描述为超像素，用于构建精简的加权图，即构建graphcuts分割模型；

graphcuts分割模型可表示为：

其中，α表示分割标号值，0代表背景，而1代表前景；i表示图像中所有的像素点；di(α)用于判断当前像素点i相对分割标号α的特征相似度；sm,n(α)用于估计邻接像素点m和n分属不同标号集时的惩罚值；γ是平衡系数；

使用区域的彩色高斯统计对超像素进行特征描述，每个超像素i都可以表示为gi＝{μi,∑i}，其中，μi和σi分别对应于超像素i中彩色特征的均值和协方差，并在信息论空间汇总对高斯距离度量进行设计，高斯距离度量的简单形式为：

其中，d为高斯特征的空间维数，对应于彩色空间的通道数，gm(x)、gn(x)分别具有高斯参数集{μm,∑m}和{μn,∑n}；

使用分量形式的期望最大化混合高斯算法来进行先验聚类；

步骤3、建立织物瑕疵特征空间

步骤31、对输入的织物图像进行拉普拉斯金字塔分解得到分层图像：

假设输入的原图像为l0,并将其作为高斯金字塔的第零层,对原图像l0通过高斯低通滤波器l进行滤波核隔行列下的采样，得到低通高斯金字塔的第一层图像l1,将低通高斯金字塔的第一层图像l1经过上采样和带通滤波器h进行的插值膨胀滤波得到l1，得到带通分量即拉普拉斯金字塔的第零层lp1,拉普拉斯金字塔的下一级分解是在得到的低通高斯金字塔图像上进行，迭代完成多尺度分解，迭代过程可用公式表示：

lp(b,c)＝ll-1(b,c)-ll′(b,c)(8)

其中，l为高斯金字塔和拉普拉斯金字塔lp分解的层数，b和c表示金字塔第l层的行数和列数，w(p,q)是一个5×5的低通滤波器，p∈[-2,2],q∈[-2,2]；

步骤32、对拉普拉斯金字塔中每层图像进行相位一致特征提取得到多尺度金字塔相位一致图像；

步骤33、自上而下将多尺度金字塔相位一致图像进行融合得到融合图像，即基于相位一致的多尺度金字塔特征图；

步骤4、瑕疵分类

步骤41、利用织物瑕疵特征样本以及属性标签构造一个描绘样本属性关系的属性超图；

步骤42、一组属性超图的切向量f＝[f1,...,fm]被定义为样本的属性预测，这属性超图切向量的每一个元素对应着所有样本关于第k个属性的预测值；

步骤43、把属性预测过程近似考虑为一个正则化超图分割问题，在超图分割阶段应使超边结构的损失最小化，属性关系损失函数定义如下：

其中，令v是超图的顶点集合，而e是超图的超边集合，每个样本都对应超图中的一个顶点v∈v,e∈e，δ(e)表示超边的阶，w(e)是超边的权重，d(v)表示超图的顶点阶，fu是向量f关于顶点u的一个行向量，该行向量第k元素是顶点u关于第k个属性预测；

采用欧氏距离来度量最小化训练样本的预测误差：

其中，矩阵y＝[y1,...,ym]是各个属性的标签集合，如果训练样本具有该属性，属性标签向量对应该样本的元素值为1，反之则为-1；

步骤44、训练样本的属性预测器可表示为从织物瑕疵特征样本空间到属性超图嵌入空间的映射问题：

f＝x^tb(11)

其中，矩阵b＝[β1,...,βm]是织物瑕疵特征样本空间x到属性超图嵌入空间的投影矩阵；

根据属性预测器的目标函数学习得到一组最优的超图，目标函数可以定义为：

其中，η是一个非负正则化参数，λ是一个正参数，lh是一个拉普拉斯正定对称阵,x为织物瑕疵特征样本空间，y为属性标签矩阵，b为投影矩阵；

步骤45、给定一个坏针瑕疵样本zk，按照公式(13)计算其属性预测值：

pk＝sign(zk^tb)(13)

b＝[β1,...,βm]是织物瑕疵特征样本空间x到属性超图嵌入空间的投影矩阵，若pk为正数，表示坏针瑕疵样本zk具有坏针瑕疵特征样本的属性，若为负数，则表示坏针瑕疵样本zk不具有该属性；

步骤46、将步骤45学习到的属性预测值用于分类，利用sigmoid函数对属性预测值进行归一化，确保其值在0-1之间，以用来进行零样本学习，归一化如下：

其中，ρ是一个控制尺度归一化的正参数，向量rk＝[rk1,...,rkm]是归一化后样本zk的各个属性的预测值；归一化后的属性预测值可视为一个样本具有特定属性的概率；利用贝叶斯法则根据一个样本的属性存在性概率r来计算属于各个测试类别的后验概率，样本的真实类别应该具有最大的后验概率；指的是样本属性预测值；

步骤47、对每类瑕疵样本都定义一个属性列表模板，假设坏针瑕疵的属性列表模板ta，该模板每个元素表示该类样本具有不容属性的先验概率，通过度量属性列表模板和坏针瑕疵样本学习到的属性预测值的距离对坏针瑕疵分类，公式如下：

其中函数o(zk)为具有最小欧式距离的类别标签，rk是归一化后坏针瑕疵样本zk的各个属性的预测值，ta表示坏针瑕疵的属性列表模板。

所述步骤21中求取每一像素块纹线方向信息的可靠性具体为：根据式(1)得到以(i,j)为中心的像素块纹线方向信息的可靠性χ(i,j)：

其中，r为以(i,j)为中心的像素块周围的像素块集合，n为像素块集合r中像素块的数目，n＝w×w，θ(i,j)，θ(i',j')分别代表以(i,j)，(i',j')为中心的像素块的方向。

所述步骤21中，根据式(2)计算旋转坐标(x'，y')：

其中，θ为以(i',j')为中心的像素块的方向。

本发明主要是利用机器学习方法实现对织物坏针瑕疵的检测，通过自适应图像增强技术预处理瑕疵图像，并有效分割感兴趣区域，根据相位一致的多尺度金字塔方法，有效的提取织物瑕点的特征信息；在织物瑕疵点分类识别方面，利用超图正则化属性学习，成功的检测出织物坏针瑕疵。本发明大大提高了纺织品的瑕疵检测速度和效率。实验证明，本发明检测速度每分钟120cm，能检测处理宽度为20至400厘米的纺织物，瑕疵正确检测率达到96％以上。

附图说明

图1为本发明硬件连接示意图；

图2为本发明的流程图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

如图1所示，本发明一种大圆机的坏针瑕疵检测方法在以下硬件载体上实现的：具有高质量的图像采集设备、控制终端以及大圆机。将作为相机和光源集合成一图像采集设备搭载于大圆机内部，相机拍摄织物图像并反馈到控制终端，以进行织物瑕疵检测。

由于线阵相机自身传感器分辨率高并可对光源进行预校准，实现准确地高分辨率的图像采集，因此，可选用线阵相机。

如图2所示，本发明一种大圆机的坏针瑕疵检测方法，具体包括如下步骤：

步骤1、通过设置于大圆机内的图像采集设备，实时采集织物图像，并将该织物图像上传至控制终端；

步骤2、对传输到控制终端的织物图像进行数据预处理

步骤21、对织物图像进行自适应增强滤波：

通过方差均衡法对织物图像进行均衡化处理，使得处理后的织物图像达到要求的平均灰度和方差；

把织物图像分成w×w个重叠的像素块，此处，w＝3，首先，对织物图像进行方向场计算机平滑，然后求取每一像素块纹线方向信息的可靠性，计算出每一像素块的方向场，根据式(1)得到以(i,j)为中心的像素块纹线方向信息的可靠性χ(i,j)：

其中，r为以(i,j)为中心的像素块周围的像素块集合，n为像素块集合r中像素块的数目，n＝w×w，此处n＝9，θ(i,j)，θ(i',j')分别代表以(i,j)，(i',j')为中心的像素块的方向；

若以(i,j)为中心的像素块纹线方向信息的可靠性χ(i,j)小于阈值t时，说明计算出的该像素块的方向场可靠，对于每个像素块，根据计算出的方向场，计算出该像素块所有像素旋转后的坐标(x'，y')，根据式(2)计算旋转坐标，此处，t＝π/8；

其中，θ为以(i',j')为中心的像素块的方向；

通过gaussian函数和像素块旋转后的像素点的值作卷积运算，并将卷积后的值局限在[0,255]之间，最后将该值作为子块中间的像素值，得到增强图像；

步骤22、对增强后的织物图像进行感兴趣区域分割

利用快速均值漂移算法进行预分割，使用g(x)表示梯度估计：

这里，“～”表示正比于，“avg”表示求平均，xi为实际的特征采样点，wh,x表示以x为中心的特征区域；

通过上述融合边缘信息的均值漂移算法将增强后的织物图像有效地分割为多个具有准确边界的同质区域，并将这些区域描述为超像素，用于构建精简的加权图.即构建graphcuts分割模型；

graphcuts分割模型可表示为：

其中，α表示分割标号值，0代表背景，而1代表前景；i表示图像中所有的像素点；di(α)用于判断当前像素点i相对标号α(前景或背景)的特征相似度；sm,n(α)用于估计邻接像素点m和n分属不同标号集时的惩罚值；γ是平衡系数；

使用区域的彩色高斯统计对超像素进行特征描述，每个超像素i都可以表示为gi＝{μi,∑i}，其中，μi和∑i分别对应于超像素i中彩色特征的均值和协方差，并在信息论空间汇总对高斯距离度量进行设计，高斯距离度量的简单形式为：

其中，d为高斯特征的空间维数，对应于彩色空间的通道数，gm(x)、gn(x)分别具有高斯参数集{μm,∑m}和{μn,∑n}；

使用分量形式的期望最大化混合高斯算法来进行先验聚类；

步骤3、建立织物瑕疵特征空间

步骤31、对输入的织物图像进行拉普拉斯金字塔分解得到分层图像：

假设输入的原图像为l0,并将其作为高斯金字塔的第零层,对原图像l0通过高斯低通滤波器l进行滤波核隔行列下的采样，得到低通高斯金字塔的第一层图像l1,将低通高斯金字塔的第一层图像l1经过上采样和带通滤波器h进行的插值膨胀滤波得到l1，得到带通分量即拉普拉斯金字塔的第零层lp1,拉普拉斯金字塔的下一级分解是在得到的低通高斯金字塔图像上进行，迭代完成多尺度分解，迭代过程可用公式表示：

lp(b,c)＝ll-1(b,c)-ll’(b,c)(8)

其中，l为高斯金字塔和拉普拉斯金字塔lp分解的层数，b和c表示金字塔第l层的行数和列数，w(p,q)是一个5×5的低通滤波器，p∈[-2,2],q∈[-2,2]；

步骤32、对拉普拉斯金字塔中每层图像进行相位一致特征提取得到多尺度金字塔相位一致图像；

步骤33、自上而下将多尺度金字塔相位一致图像进行融合得到融合图像，即基于相位一致的多尺度金字塔特征图；

步骤4、瑕疵分类

步骤41、利用织物瑕疵特征样本以及属性标签构造一个描绘样本属性关系的属性超图；

步骤42、一组属性超图的切向量f＝[f1,...,fm]被定义为样本的属性预测，这属性超图切向量的每一个元素对应着所有样本关于第k个属性的预测值；

步骤43、把属性预测过程近似考虑为一个正则化超图分割问题，在超图分割阶段应使超边结构的损失最小化，属性关系损失函数定义如下：

其中，令v是超图的顶点集合，而e是超图的超边集合，每个样本都对应超图中的一个顶点v∈v,e∈e，δ(e)表示超边的阶，w(e)是超边的权重，d(v)表示超图的顶点阶，fu是向量f关于顶点u的一个行向量，该行向量第k元素是顶点u关于第k个属性预测；

采用欧氏距离来度量最小化训练样本的预测误差：

其中，矩阵y＝[y1,...,ym]是各个属性的标签集合，如果训练样本具有该属性，属性标签向量对应该样本的元素值为1，反之则为-1；

步骤44、训练样本的属性预测器可表示为从织物瑕疵特征样本空间到属性超图嵌入空间的映射问题：

f＝x^tb(11)

其中，矩阵b＝[β1,...,βm]是织物瑕疵特征样本空间x到属性超图嵌入空间的投影矩阵；

根据属性预测器的目标函数学习得到一组最优的超图，目标函数可以定义为：

其中，η是一个非负正则化参数，λ是一个正参数，lh是一个拉普拉斯正定对称阵,x为织物瑕疵特征样本空间，y为属性标签矩阵，b为投影矩阵；

步骤45、给定一个坏针瑕疵样本zk，按照公式(13)计算其属性预测值：

pk＝sign(zk^tb)(13)

b＝[β1,...,βm]是织物瑕疵特征样本空间x到属性超图嵌入空间的投影矩阵，若pk为正数，表示坏针瑕疵样本zk具有坏针瑕疵特征样本的属性，若为负数，则表示坏针瑕疵样本zk不具有该属性；

步骤46、将步骤45学习到的属性预测值用于分类，利用sigmoid函数对属性预测值进行归一化，确保其值在0-1之间，以用来进行零样本学习，归一化如下：

其中，ρ是一个控制尺度归一化的正参数，向量rk＝[rk1,...,rkm]是归一化后样本zk的各个属性的预测值；归一化后的属性预测值可视为一个样本具有特定属性的概率；利用贝叶斯法则根据一个样本的属性存在性概率r来计算属于各个测试类别的后验概率，样本的真实类别应该具有最大的后验概率；指的是样本属性预测值；

步骤47、对每类瑕疵样本都定义一个属性列表模板，假设坏针瑕疵的属性列表模板ta，该模板每个元素表示该类样本具有不容属性的先验概率，通过度量属性列表模板和坏针瑕疵样本学习到的属性预测值的距离对坏针瑕疵分类，公式如下：

其中函数o(zk)为具有最小欧式距离的类别标签，rk是归一化后坏针瑕疵样本zk的各个属性的预测值，ta表示坏针瑕疵的属性列表模板。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。