一种基于多特征融合的色纺织物组织结构识别的方法与流程

本发明涉及一种织物组织结构识别方法，尤其是涉及一种基于多特征融合的色纺织物组织结构识别的方法。

背景技术：

织物组织是描述织物结构特征的一个重要参数，对织物的外观起着重要的作用。传统的织物组织结构的识别主要是借助放大镜等工具来完成，这种方法时间长、效率低。随着计算机技术的发速发展，图像处理被广泛应用于纺织行业。色纺织物是由两种或多种不同颜色纤维混合的纱线编织而成，它具有丰富的颜色信息和复杂的纹理特征。从单一的颜色空间提取的特征具有一定的局限性，不同的颜色空间提取的特征能够更好地描述色纺织物的特征属性。yuv颜色空间是欧洲电视采用的一种颜色编码方法，它能很好地把亮度信号与色差信号分离。hsv颜色空间用来描述颜色比较自然，它是为了更好地数字化处理颜色信息而提出来的。色纺织物的组织结构识别主要分为特征参数的提取、特征融合以及组织识别。

特征参数的提取主要包括纹理特征和颜色信息。纹理特征的提取主要分为四大类：结构法、模型法、统计法和信号处理的方法。结构法是基于纹理基元进行分析的方法，常见的有数学形态分析，该方法只对规则的纹理具有较好的分类效果，而现实中的纹理都是非规则的，具有一定的局限性。模型法是通过计算模型的特定参数来提取纹理特征，但是参数的求解有一定的难度，运算量大而且效率低。统计法主要对纹理中像素及其领域的灰度属性进行描述，典型的有灰度共生矩阵，它统计的特征数据量很多，计算量大，存在数据冗余。常见的信号处理的方法有gabor滤波和小波方法。gabor滤波一般有8个方向，5个尺度，特征多，计算量大，小波分解能多分辨率提取纹理特征。颜色特征提取的方法主要有颜色直方图和颜色距。颜色直方图用来反映图像的颜色分布，因为它是属于全局的颜色统计，维度大，描述的是不同颜色占图像中的比例。颜色距是用一阶矩、二阶矩和三阶矩来描述颜色分布，维度较少，经常和其他特征综合使用。

模式识别主要分为监督学习和无监督学习。监督学习是将一些已知的数据通过学习得出一个函数模型，然后用来识别新的数据。而无监督学习不需要预先知道样本的标签。在模式识别中特征融合的算法主要包括基于贝叶斯决策理论的算法、基于稀疏表示理论的算法和基于深度学习理论算法。贝叶斯决策理论和稀疏表示理论主要是对样本的多特征进行处理得到融合后的特征，而深度学习理论主要是在神经网络模型中加入融合的过程，通过不断更新权值和偏置，得到一个优化的网络。

技术实现要素：

一种基于多特征融合的色纺织物组织结构识别的方法，其特征在于，包括

步骤1：采集色纺织物样本的图像；

步骤2：基于matlab将采集的样本图像通过中值滤波进行降噪处理；

步骤3：将织物的rgb图像转为二维的灰度图像，再对灰度图像的直方图均衡化以增强纱线边界信息；

步骤4：计算完成步骤3后织物灰度图像中每个像素点灰度值的径向梯度值和纬向梯度值，公式如式4.1～4.2所示；然后取绝对值生成灰度径向梯度图和纬向梯度图，再对灰度径向梯度图计算径向梯度积分曲线，对灰度纬向梯度图计算纬向梯度积分曲线；最后分别对这两条曲线进行平滑处理，使曲线的波峰点为纱线的间隙，并提取经向和纬向梯度积分曲线的波峰点完成对织物组织点的定位；

dx(x,y)＝f(x,y)-f(x+1,y)式4.1

dy(x,y)＝f(x,y)-f(x,y+1)式4.2

式中，f(x,y)是织物灰度图像坐标为(x,y)的灰度值，dx(x,y)是径向梯度值，dy(x,y)是纬向梯度值；

步骤5：将步骤2的色纺织物图像从rgb颜色空间分别转换到hsv颜色空间和yuv颜色空间，分别在hsv颜色空间和yuv颜色空间下采用步骤4中组织点定位的结果从织物图像中分割出织物的组织点图像，组织点的个数至少包括一个组织循环，并对组织点按顺序进行编号；

步骤6：分别提取2个颜色空间下每个组织点的纹理特征；包括以下子步骤：

步骤6.1：首先提取hsv颜色空间的v通道的色纺织物组织点图像，运用半径为2、领域像素点为16的等价模式的局部二值模式算子提取织物组织点图像的局部纹理特征，记为lbpp,r，表示半径为r的圆形领域内有p个像素点，其公式如下：

式中，gp表示领域像素点灰度值，gc表示中心像素点灰度值；

步骤6.2：在步骤6.1中组织点图像的基础上提取tamura纹理特征中最常用的3个特征作为组织点的全局纹理特征，分别为粗糙度、对比度和方向度；粗糙度fcrs的定义如式6.3～6.7所示，首先计算组织点图像中2^k×2^k个像素活动窗口中像素的平均值ak；其次，分别计算每个像素点在垂直和水平方向上不重叠窗口的平均灰度差值；然后，对每个像素点计算使e达到最大的最佳尺寸sbest；最后，计算组织点图像中sbest的平均值得到粗糙度fcrs；对比度fcon的定义如6.8所示，方向度fdir的定义如式6.9～6.11所示：

ek,h(x,y)＝|ak(x+2^k-1,y)-ak(x-2^k-1,y)|式6.4

ek,v(x,y)＝|ak(x,y+2^k-1)-ak(x,y-2^k-1)|式6.5

sbest(x,y)＝2^k式6.6

fcon＝σ/(α4)ⁿ,α4＝μ4/σ⁴式6.8

θ＝tan^-1(δv/δh)+π/2式6.9

式中，g(i,j)是位置(i,j)的灰度值，k＝0,1,2,···,5，ek,h代表像素点在水平方向的平均灰度差值，ek,v代表像素点在垂直方向的灰度差值，σ是标准差，μ4是四次矩，θ表示每个像素的梯度向量的方向，δh表示图像与进行卷积得到水平方向的变化量，δv表示图像与进行卷积得到垂直方向的变化量，nθ(k)是当|δg|≥t，(2k-1)π/2n≤θ≤(2k+1)π/2n时像素的数量，hd是梯度向量数量的直方图，p表示直方图中的峰值，np表示直方图中所有的峰值，wp表示峰值所包含的离散范围，φp表示波峰的中心位置；

通过步骤6.1和步骤6.2可以在v通道上构成一个21维的纹理特征向量并进行归一化，记为whsv-v；

步骤6.3：提取yuv颜色空间的y通道的色纺织物组织点图像，再从图片中提取局部二值模式和tamura纹理特征，由此可以在y通道上构成一个21维的特征向量并进行归一化，记为wyuv-y最后whsv-v与wyuv-y进行融合，公式如下：

步骤7：分别提取hsv和yuv颜色空间下每个组织点的颜色特征；包括以下子步骤：

步骤7.1：提取hsv颜色空间中的颜色距，颜色距是用一阶矩、二阶矩和三阶矩来描述颜色分布，一阶矩ui、二阶矩σi和三阶矩si的定义如下：

式中，p(i,j)是位置(i,j)处像素的颜色信息，n是色纺织物组织点图像的大小；

将h通道的一阶矩、二阶矩和三阶矩分别记为uhsv-h、σhsv-h、shsv-h，归一化后的三阶矩对应为u'hsv-h、σ'hsv-h、s'hsv-h，将s通道的一阶矩、二阶矩和三阶矩分别记为uhsv-s，σhsv-s，shsv-s,归一化后的三阶矩对应为u'hsv-s，σ'hsv-s，s'hsv-s，将v通道的一阶矩、二阶矩和三阶矩分别记为uhsv-v，σhsv-v，shsv-v，归一化后的三阶矩对应为u'hsv-v，σ'hsv-v，s'hsv-v；

步骤7.2：提取yuv颜色空间中的颜色距，将y通道的一阶矩、二阶矩和三阶矩分别记为uyuv-y、σyuv-y、syuv-y，归一化后的三阶矩对应为u'yuv-y、σ'yuv-y、s'yuv-y，将u通道的一阶矩、二阶矩和三阶矩分别记为uyuv-u，σyuv-u，syuv-u，归一化后的三阶矩对应为u'yuv-u，σ'yuv-u，s'yuv-u，将v通道的一阶矩、二阶矩和三阶矩分别记为uyuv-v，σyuv-v，syuv-v，归一化后的三阶矩对应为u'yuv-v，σ'yuv-v，s'yuv-v；

步骤7.3：将hsv颜色空间中的颜色信息与yuv颜色空间中的颜色信息进行归一化后融合，如下所示：

式中，gu、gσ、gs分别为融合后混合颜色空间亮度通道的一阶矩、二阶矩和三阶矩，cu、cσ、cs分别为混合颜色空间色调通道的一阶矩、二阶矩和三阶矩，ou、oσ、os分别为混合颜色空间饱和度通道的一阶矩、二阶矩和三阶矩；

将这9个特征值联合成一个9维的特征向量；

步骤8：将每个组织点的纹理和颜色的特征向量联合起来构成一个30维的特征向量，再对数据进行归一化处理；

步骤9：重复步骤1～步骤8，每种色纺织物样本采集5张大小相同的图片，且来自同一种织物的不同位置，其中4张作为训练样本，1张作为测试样本，得到训练样本与测试样本中组织点特征的数据集；

步骤10：将训练样本中组织点的特征值放入3层的bp神经网络进行训练(隐藏层的神经元的个数要小于输入层神经元的个数)，得到一个优化的神经网络模型；其中，神经网络输入层神经元的个数由组织点特征维度决定，输出层神经元的个数由组织点的类别决定，输出为0、1代表经组织点，1、0代表纬组织点；然后重新将训练样本和测试样本中组织点的特征值导入神经网络，从隐藏层就可以输出新的训练样本和测试样本的组织点的数据集；最后将新的训练样本的数据集导入到朴素贝叶斯分类器进行学习，对新的测试样本的数据集进行分类。

因此，本发明具有如下优点：对于颜色丰富、纹理复杂的色纺织物来说，通过融合不同颜色空间下提取的的特征，能够更好地表征织物的特征属性，多分类器的融合能够有效地完成色纺织物组织结构的识别，具有广泛的适用性。

附图说明

附图1是本发明的方法流程示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明包括以下步骤：

步骤1：采集色纺织物样本的图像；

步骤2：基于matlab将采集的样本图像通过中值滤波进行降噪处理；

步骤3：将织物的rgb图像转为二维的灰度图像，再对灰度图像的直方图均衡化以增强纱线边界信息；

步骤4：计算完成步骤3后织物灰度图像中每个像素点灰度值的径向梯度值和纬向梯度值，其公式如式4.1～4.2所示；然后取绝对值生成灰度径向梯度图和纬向梯度图，再对灰度径向梯度图计算径向梯度积分曲线，对灰度纬向梯度图计算纬向梯度积分曲线；最后分别对这两条曲线进行平滑处理，使曲线的波峰点为纱线的间隙，并提取经向和纬向梯度积分曲线的波峰点完成对织物组织点的定位；

dx(x,y)＝f(x,y)-f(x+1,y)式4.1

dy(x,y)＝f(x,y)-f(x,y+1)式4.2

式中，f(x,y)是织物灰度图像坐标为(x,y)的灰度值，dx(x,y)是径向梯度值，dy(x,y)是纬向梯度值；

步骤5：将步骤2的色纺织物图像从rgb颜色空间分别转换到hsv颜色空间和yuv颜色空间，分别在hsv颜色空间和yuv颜色空间下采用步骤4中组织点定位的结果从织物图像中分割出织物的组织点图像，组织点的个数至少包括一个组织循环，并对组织点按顺序进行编号(实质上，步骤4是在步骤3的基础上进行的，采用的灰度图像；步骤4是步骤5需要用到，步骤4是用来计算出组织点的位置信息，步骤5是在hsv和yuv颜色空间下从织物图像分割出组织点，步骤5是步骤6需要用到)；

步骤6：分别提取2个颜色空间下每个组织点的纹理特征；包括以下子步骤：

步骤6.1：首先提取hsv颜色空间的v通道的色纺织物组织点图像，运用半径为2、领域像素点为16的等价模式的局部二值模式算子提取织物组织点图像的局部纹理特征，记为lbpp,r，表示半径为r的圆形领域内有p个像素点，其公式如下：

式中，gp表示领域像素点灰度值，gc表示中心像素点灰度值；

步骤6.2：在步骤6.1中组织点图像的基础上提取tamura纹理特征中最常用的3个特征作为组织点的全局纹理特征，分别为粗糙度、对比度和方向度。粗糙度fcrs的定义如式6.3～6.7所示，首先计算组织点图像中2^k×2^k个像素活动窗口中像素的平均值ak；其次，分别计算每个像素点在垂直和水平方向上不重叠窗口的平均灰度差值；然后，对每个像素点计算使e达到最大的最佳尺寸sbest；最后，计算组织点图像中sbest的平均值得到粗糙度fcrs。对比度fcon的定义如6.8所示，方向度fdir的定义如式6.9～6.11所示：

ek,h(x,y)＝|ak(x+2^k-1,y)-ak(x-2^k-1,y)|式6.4

ek,v(x,y)＝|ak(x,y+2^k-1)-ak(x,y-2^k-1)|式6.5

sbest(x,y)＝2^k式6.6

fcon＝σ/(α4)ⁿ,α4＝μ4/σ⁴式6.8

θ＝tan^-1(δv/δh)+π/2式6.9

式中，g(i,j)是位置(i,j)的灰度值，k＝0,1,2,···,5，ek,h代表像素点在水平方向的平均灰度差值，ek,v代表像素点在垂直方向的灰度差值，σ是标准差，μ4是四次矩，θ表示每个像素的梯度向量的方向，δh表示图像与进行卷积得到水平方向的变化量，δv表示图像与进行卷积得到垂直方向的变化量，nθ(k)是当|δg|≥t，(2k-1)π/2n≤θ≤(2k+1)π/2n时像素的数量，hd是梯度向量数量的直方图，p表示直方图中的峰值，np表示直方图中所有的峰值，wp表示峰值所包含的离散范围，φp表示波峰的中心位置；

通过步骤6.1和步骤6.2可以在v通道上构成一个21维的纹理特征向量并进行归一化，记为whsv-v；

步骤6.3：提取yuv颜色空间的y通道的色纺织物组织点图像，再从图片中提取局部二值模式和tamura纹理特征，由此可以在y通道上构成一个21维的特征向量并进行归一化，记为wyuv-y最后whsv-v与wyuv-y进行融合，公式如下：

步骤7：分别提取hsv和yuv颜色空间下每个组织点的颜色特征；包括以下子步骤：

步骤7.1：提取hsv颜色空间中的颜色距，颜色距是用一阶矩、二阶矩和三阶矩来描述颜色分布，一阶矩ui、二阶矩σi和三阶矩si的定义如下：

式中，p(i,j)是位置(i,j)处像素的颜色信息，n是色纺织物组织点图像的大小；

将h通道的一阶矩、二阶矩和三阶矩分别记为uhsv-h、σhsv-h、shsv-h，归一化后的三阶矩对应为u'hsv-h、σ'hsv-h、s'hsv-h，将s通道的一阶矩、二阶矩和三阶矩分别记为uhsv-s，σhsv-s，shsv-s,归一化后的三阶矩对应为u'hsv-s，σ'hsv-s，s'hsv-s，将v通道的一阶矩、二阶矩和三阶矩分别记为uhsv-v，σhsv-v，shsv-v，归一化后的三阶矩对应为u'hsv-v，σ'hsv-v，s'hsv-v；

步骤7.2：提取yuv颜色空间中的颜色距，将y通道的一阶矩、二阶矩和三阶矩分别记为uyuv-y、σyuv-y、syuv-y，归一化后的三阶矩对应为u'yuv-y、σ'yuv-y、s'yuv-y，将u通道的一阶矩、二阶矩和三阶矩分别记为uyuv-u，σyuv-u，syuv-u，归一化后的三阶矩对应为u'yuv-u，σ'yuv-u，s'yuv-u，将v通道的一阶矩、二阶矩和三阶矩分别记为uyuv-v，σyuv-v，syuv-v，归一化后的三阶矩对应为u'yuv-v，σ'yuv-v，s'yuv-v；

步骤7.3：将hsv颜色空间中的颜色信息与yuv颜色空间中的颜色信息进行归一化后融合，如下所示：

式中，gu、gσ、gs分别为融合后混合颜色空间亮度通道的一阶矩、二阶矩和三阶矩，cu、cσ、cs分别为混合颜色空间色调通道的一阶矩、二阶矩和三阶矩，ou、oσ、os分别为混合颜色空间饱和度通道的一阶矩、二阶矩和三阶矩；

将这9个特征值联合成一个9维的特征向量；

步骤8：将每个组织点的纹理和颜色的特征向量联合起来构成一个30维的特征向量，再对数据进行归一化处理；

步骤9：重复步骤1～步骤8，每种色纺织物样本采集5张大小相同的图片，且来自同一种织物的不同位置，其中4张作为训练样本，1张作为测试样本，得到训练样本与测试样本中组织点特征的数据集；

步骤10：将训练样本中组织点的特征值放入3层的bp神经网络进行训练(隐藏层的神经元的个数要小于输入层神经元的个数)，得到一个优化的神经网络模型；其中，神经网络输入层神经元的个数由组织点特征维度决定，输出层神经元的个数由组织点的类别决定，输出为0、1代表经组织点，1、0代表纬组织点；然后重新将训练样本和测试样本中组织点的特征值导入神经网络，从隐藏层就可以输出新的训练样本和测试样本的组织点的数据集；最后将新的训练样本的数据集导入到朴素贝叶斯分类器进行学习，对新的测试样本的数据集进行分类；

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。