基于完整极值非负密集微块差分的彩色纹理图像分类方法与流程

本发明属于计算机视觉和模式识别技术领域，具体涉及基于完整极值非负密集微块差分的彩色纹理图像分类方法。

背景技术：

作为计算机视觉和模式识别领域中的经典问题，纹理表示方法是纹理分类过程中的重要一步。大多数的纹理表示方法都关注于灰度纹理图像，从而忽略了颜色信息。然而，在现实世界中，颜色也是具有判别力的信息。构建彩色纹理图像的表示方法是具有重要意义的。

构建彩色纹理的表示方法，直观地，可以将灰度纹理的表示方法运用到彩色纹理的每一个颜色通道上，最后在融合三个通道上的特征。但是，对于彩色纹理图像中每个颜色通道都不是独立的，因此需要捕获颜色通道间的信息。目前，大部分的彩色纹理表示方法都不能同时探索颜色通道内和颜色通道间的信息，并且还缺少彩色纹理的全局特征。

基于此问题，我们构建了一种基于完整极值非负密集微块差分的纹理分类方法，在表示彩色纹理的过程中，通过密集微块差分建模后的颜色通道内特征和颜色通道间特征，通过非负化和极值化操作融合，随后和彩色纹理图像的全局特征共同组合成完整极值非负密集微块差分(completedextremelynonnegativedmd,cen-dmd)，并用于彩色纹理分类。

技术实现要素：

本发明所要解决的技术问题是提供基于完整极值非负密集微块差分的彩色纹理图像分类方法，解决现有彩色纹理表示方法所存在的上述问题。

本发明为解决上述技术问题所采用的技术方案是：基于完整极值非负密集微块差分的彩色纹理图像分类方法，包括以下步骤：

步骤一：对彩色纹理图像的颜色通道内特征和颜色通道间特征进行建模：首先，对于给定的彩色纹理图像，按照2像素的步长将其划分成尺寸为l*l的图像块；其次，在图像块中进行微块采样，通过计算成对微块间像素的平均值的差来提取纹理特征，对于彩色纹理图像的颜色通道内特征建模，用于差分的微块对都选自同一颜色通道内；对于彩色纹理图像的颜色通道间建模，则用于差分的微块对选自相对的颜色通道内，同时非负操作在微块差分过程中被使用；

步骤二：在对彩色纹理图像建模后，捕获颜色通道内的差分特征和颜色通道间的差分特征，融合通道内差分特征的最大值和通道间差分特征的最大值，构建极值非负密集微块差分描述子en-dmd，en-dmd的定义如下：

其中，max()为取最大值操作，u,v,w代表颜色通道，ip代表纹理图像块patch，p代表patch，代表ip在颜色通道u内的微块差分，代表ip在颜色通道v内的微块差分，代表ip在颜色通道w内的微块差分，代表ip在颜色通道u和颜色通道v间的微块差分，代表ip在颜色通道v和颜色通道w间的微块差分,代表ip在颜色通道w和颜色通道u间的微块差分；

步骤三：融合彩色纹理的全局特征构建完整极值非负密集微块差分cen-dmd，包括：

(1)彩色纹理图像的全局特征包括颜色通道内的全局特征和颜色通道间的全局特征，对于彩色纹理图像i，iu,ivandiw分别代表三个颜色通道的图像信息，每个颜色通道内像素的均值和方差作为颜色通道内的全局特征，颜色通道间的全局特征通过纹理图像颜色通道间差分的均值和方差来捕获；

(2)通过组合极值非负微块差分en-dmd与彩色纹理图像的颜色通道内全局特征gintra和颜色通道间全局特征ginter，构建完整极值非负密集微块差分cen-dmd：cen-dmd＝[en-dmd，gintra，ginter]；

步骤四：将cen-dmd经过fisher向量编码后得到彩色纹理描述子，最后，线性svm分类器被用来执行彩色纹理图像分类。

本发明所述步骤一中彩色纹理图像的颜色通道内特征建模方法为：对于在颜色通道c上的尺寸为l*l的图像块的颜色通道内特征计算如下：

其中，

其中，s代表微块的尺寸，代表在特定的颜色通道上坐标为x^c＝(a，b)^t微块的平均像素，∥表示绝对值操作，c∈{u,v,w}代表颜色通道。

本发明所述步骤一中彩色纹理图像的颜色通道间特征建模的方法为：对于尺寸为l*l的彩色纹理图像块，颜色通道c和c’间的颜色通道间的特征计算如下：

其中，代表ip在颜色通道c和颜色通道c’之间的颜色通道间的微块差分，c∈{u,v,w}和c’∈{u,v,w}代表颜色通道，采样点集合x^c和y^c由t分布生成。

本发明所述步骤二中彩色纹理图像的颜色通道内全局特征gintra的定义如下：

gintra＝[avg(iu)，avg(iv)，avg(iw)，var(iu)，var(iv)，var(iw)]，

其中，avg(iu)，avg(iv)，avg(iw)分别代表彩色纹理图像单一颜色通道内像素的均值，var(iu)，var(iv)，var(iw)分别代表彩色纹理图像单一颜色通道内像素的方差。

本发明所述步骤二中颜色通道间全局特征ginter的定义如下：

ginter＝[avg(|iu-iv|)，avg(|iv-iw|)，avg(|iw-iu|)，var(|iu-iv|)，var(|iv-iw|)，var(|iw-iu|)]，

其中，avg(|iu-iv|)，avg(|iv-iw|)，avg(|iw-iu|)分别彩色纹理图像颜色通道间差分的均值，var(|iu-iv|)，var(|iv-iw|)，var(|iw-iu|)分别彩色纹理图像颜色通道间差分的方差，u,v,w分别代表彩色纹理图像的三个颜色通道。

本发明的有益效果是：第一，本发明构建一个非负多分辨dmd特征用于表示纹理信息，特征的多分辨表示通过非负操作之后连接不同尺度的微块差分特征；第二，本发明使用彩色纹理图像的颜色内差分特征的最大值和通道间差分特征的最大值测量差分特征的显著性；第三，本发明提出了完整极值非负密集差分(completedextremelynonnegativedmd,cen-dmd)用于表示彩色纹理，cen-dmd的完整性是包含颜色通道内的特征和颜色通道间的特征，同时包括彩色纹理的局部特征和全局特征；第四，在五个公开的彩色纹理数据集(curet,coloredbrodatz,vistex,usptexandkth-tips)上的分类结果证明了同其他具有代表性的方法相比本发明的分类方法是有效的且优异的。

附图说明

图1为本发明密集微块差分建模彩色纹理图像颜色通道内特征和颜色通道间特征图；

图2为本发明完整极值非负密集微块差分cen-dmd方法的流程图；

图3为本发明cen-dmd在三种不同颜色空间中在三个纹理数据集上的分类精度对比图；

图4为本发明cen-dmd单一尺度表示和多尺度表示在四个纹理数据集上的分类精度对比图。

具体实施方式

下面结合实施例对本发明的具体实施方式(实施例)进行描述，使本领域的技术人员能够更好地理解本发明。

本发明通过对彩色纹理图像的颜色通道内的特征和颜色通道间的特征进行建模，并融合彩色纹理的局部特征和全局特征构建彩色纹理描述子用于彩色纹理分类。首先在图像块中，密集微块差分被用来对彩色纹理的颜色通道内特征和颜色通道间特征建模，非负操作被用在差分过程中。随后，融合颜色通道内差分的最大值和颜色通道间差分的最大值以此实现可以同时捕获颜色通道内和颜色通道间的特征。此外，通过连接不同尺度微块上的差分特征来实现彩色纹理的多分辨表示。同时，和彩色纹理图像的全局特征融合构建完整极值非负密集微块差分(cen-dmd)。fisher向量用来对cen-dmd进行编码得到彩色纹理描述子。最后，线性svm分类器被用来测试所提出方法的分类性能，大量的实验结果验证本发明方法的有效性。

步骤一：对彩色纹理图像的颜色通道内特征和颜色通道间特征进行建模

首先，对于给定的彩色纹理图像将其按照2像素的步长划分成尺寸为l*l的图像块。其次，在图像块中进行微块采样，通过计算成对微块间像素的平均值的差来提取纹理特征。对于彩色纹理图像的颜色通道内特征建模，用于差分的微块对都选自同一颜色通道内；对彩色纹理图像的颜色通道间建模，则用于差分的微块对选自相对的颜色通道内，同时非负操作在微块差分过程中被使用。对于彩色纹理图像块的每个颜色通道中，微块对的选择是通过采样点集合和确定的,其中，n表示采样点的个数，c∈{u，v，w)表示颜色通道。

对于在颜色通道c上的尺寸为l*l的图像块的颜色通道间特征计算如下：

其中

其中，s代表微块的尺寸，代表在特定的颜色通道上坐标为x^c＝(a，b)^t微块的平均像素，∥表示绝对值操作，c∈{u,v,w}代表颜色通道，ip代表纹理图像块patch，为了表示简单，用首字母p代表patch。

对于尺寸为l*l的彩色纹理图像块，在颜色通道c和c’间的颜色通道间的特征计算如下：

其中，ip代表纹理图像块patch，为了表示简单，用首字母p代表patch，代表ip在颜色通道c和颜色通道c’之间的颜色通道间的微块差分，c∈{u,v,w}和c’∈{u,v,w}代表颜色通道。采样点集合x^c和y^c由t分布生成。

步骤二：构建极值非负密集微块差分描述子(extremelynonnegativedmd,en-dmd)

在对彩色纹理图像建模后，可以捕获颜色通道内的差分特征和颜色通道间的差分特征。融合通道内差分特征的最大值和通道间差分特征的最大值，构建极值非负密集微块差分描述子(extremelynonnegativedmd,en-dmd)，en-dmd的定义如下：

其中，max()为取最大值操作，u,v,w代表颜色通道，ip代表纹理图像块patch，p代表patch，代表ip在颜色通道u内的微块差分，代表ip在颜色通道v内的微块差分，代表ip在颜色通道w内的微块差分，代表ip在颜色通道u和颜色通道v间的微块差分，代表ip在颜色通道v和颜色通道w间的微块差分,代表ip在颜色通道w和颜色通道u间的微块差分。

步骤三：融合彩色纹理的全局特征构建完整极值非负密集微块差分(completedextremelynonnegativedmd,cen-dmd)：彩色纹理图像的全局特征包括颜色通道内的全局特征和颜色通道间的全局特征，对于彩色纹理图像i，iu,ivandiw分别代表三个颜色通道的图像信息，每个颜色通道内像素的均值和方差作为颜色通道内的全局特征，彩色纹理图像的颜色通道内全局特征gintra的定义如下：

gintra＝[avg(iu)，avg(iv)，avg(iw)，var(iu)，var(iv)，var(iw)]

其中，avg(iu)，avg(iv)，avg(iw)分别代表彩色纹理图像单一颜色通道内像素的均值，var(iu)，var(iv)，var(iw)分别代表彩色纹理图像单一颜色通道内像素的方差。

彩色纹理图像的颜色通道间全局特征则是通过纹理图像颜色通道间差分的均值和方差来捕获。颜色通道间全局特征ginter的定义如下：

ginter＝[avg(|iu-iv|)，avg(|iv-iw|)，avg(iw-iu|)，var(|iu-iv|)，var(|iv-iw|)，var(|iw-iu|)]

其中，avg(|iu-iv|)，avg(|iv-iw|)，avg(|iw-iu|)分别彩色纹理图像颜色通道间差分的均值，var(|iu-iv|)，var{|iv-iw|)，var(|iw-iu|)分别彩色纹理图像颜色通道间差分的方差。u,v,w分别代表彩色纹理图像的三个颜色通道。

通过组合极值非负微块差分(en-dmd)与彩色纹理图像的颜色通道内全局特征和颜色通道间全局特征，构建完整极值非负密集微块差分(completedextremelynonnegativedmd,cen-dmd)，cen-dmd的定义如下：

cen-dmd＝[en-dmd，gintra，ginter]；

步骤四：将cen-dmd经过fisher向量编码后得到彩色纹理描述子。最后，线性svm分类器被用来执行彩色纹理图像分类。

仿真分类实验

基于完整极值非负密集微块差分用于彩色纹理图像分类，在curet，coloredbrodatz，vistex，usptexandkth-tips五个公开的纹理数据集上进行分类实验，其中颜色空间选取rgb颜色空间，采样点数n＝80，图像块的尺寸l为15，微块尺寸s从1到5的多分辨表示。具体的实验如下：

(1)纹理数据集：curet：包括61个纹理类，我们使用46个样本进行训练，46个人样本进行测试。coloredbrodatz：包括40个纹理类，每个640*640的纹理类被分成16个160*160的非重叠样本，其中8个用于训练，8个用于测试。vistex：包含40个彩色纹理类，每个512*512的纹理图像被分成16个128*128的非重叠样本，其中8个用于训练，8个用于测试。usptex：由191个纹理类组成，每个类有12个样本，其中6个样本用于训练，6个样本用于测试。kth-tips:包含不同光照角度，不同尺度的纹理图像，由10个纹理类组成，每个类有81个样本，其中40个用于训练，41个用于测试。

(2)参数敏感性的调研：分别在rgb，hsv和ycbcr三个空间中在五个标准的纹理数据集上进行分类实验，实验结果如图3所示，cen-dmd在rgb颜色空间中的性能最好。

(3)多分辨实验：分别在curet，vistex，usptex和kth-tips纹理数据集上进行了cen-dmd单一尺度和多尺度的比较实验。图像块的大小为15*15。单一尺度时，微块尺寸为5*5。多尺度时，微块尺寸则从1*1到5*5。也就是说，共80个采样点是，每个微块尺度的采样个数为16。实验结果如图4所示，多尺度的分类精度要高于单一尺度。

对比实验：在五个标准的纹理数据集(kth-tips,vistex,curet,usptex,coloredbrodatz)上同13个具有代表性的彩色纹理分类方法进行比较实验，实验结果如表1所示。实验结果表明，本身气你的分类方法分类精度更高。

表114个彩色纹理表示方法在五个纹理数据集上的分类精度表