专利名称：一种基于多特征融合的遥感图像分类方法
技术领域：
本发明涉及一种图像分类方法，尤其涉及一种基于多特征融合的遥感图像分类方法，属于图像识别技术领域。
背景技术：
随着遥感和信息技术的迅速发展，每天可获取的遥感图像数据量正以惊人的速度增长。面对海量的遥感数据，如何利用计算机自动地把图像按照人们理解的方式分类到不同的语义类别成为了一个富有挑战性的问题。在计算机视觉研究的语义内容中，图像的场景类别不仅包含了人们对一幅图像的总体认识，而且还为进一步识别出图像中的其他内容提供了基础。因此图像场景分类就成为了当前计算机视觉和多媒体信息处理领域的热点问题。传统的遥感影像目视解译方法不仅要求丰富的专业经验和充足的野外实地调查资料，而且由于这种识别方法是建立在特定的先验知识基础上，因此识别难度很大，效率很低，例如，文献张锦水，何春阳，潘耀忠，等.基于SVM的多源信息复合的高空间分辨率遥感数据分类研究[J].遥感学报.第10卷，第I期，2006:49-57.中所采用的方法。高分辨率遥感影像能够提供大量的地表特征，充分体现在地物内部分异明显、纹理增多、细节丰富和边缘突出方面。地物空间分布复杂，同类物体呈现出很大的光谱异质性，具体表现为类内方差变大、类间方差减小、不同地物的光谱相互重叠，使得传统的基于像元的分类技术容易造成较多的错分、漏分现象，从而导致分类精度较低。上述方法主要依据光谱信息，没有较好地利用高空间分辨率影像的对象特征。近年来出现了面向对象的分类方法，例如，文献黎新亮，赵书河，芮一康.面向对象高分辨遥感影像分类研究[J].遥感信息，2007，6:58-61.中所采用的方法。根据描述图像的方式不同，当前面向对象的场景分类方法分为基于全局特征和基于局部特征的词袋模型两大类。而早期的场景分类方法是根据图像的全局统计特征来描述场景内容的，如颜色直方图，例如，文献MICHAEL J. SWAIN, DANA H. BALLARD. ColorIndexing[J]. International Journal of Computer Vision, 1991, 7(I):11-32.中所采用的方法，纹理，例如，文献Tai Sing Lee. Image Representation Using 2D GaborWavelets. IEEE Transactions on pattern analysis and machine intelligence, 1996，18(10) :1-13.中所采用的方法。颜色直方图具有仿射，旋转等不变性，并且计算效率高。但是由于其丢弃了图像的空间信息，对于两幅颜色分布相同，内容并不一样的图像缺乏区分力，因此鲁棒性不好，识别效率不高。近年来，场景分类的主流方法是基于词袋模型M(bagof visual words, B0VW)的方法,它将图像表示为一些局部图像块,每幅图像像句子一样表示为不同比例的单词，所有单词的集合组成一个词典。词袋模型具有计算简单，对噪声、光照和局部遮挡更加鲁棒等特点。但是由于遥感图像纹理信息丰富，局部特征点较多，直接采用基于聚类方法获得视觉单词不一定能反映场景特征，从而造成了总体分类精度也不高。而对于高分辨率遥感图像中的不同目标，各个特征的表现并不一致。如有些类可能由于其颜色特征的显著性，所以最适合采用颜色直方图特征来进行分类，而有些类纹理比较丰富，使得局部特征比较明显。显然如果采用同一种特征对不同类别目标进行分类不再适用。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于多特征融合的遥感图像分类方法，能够获得更精确的遥感图像分类结果。本发明具体采用以下技术方案解决上述技术问题。—种基于多特征融合的遥感图像分类方法，包括以下步骤
步骤A、分别提取训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征；
步骤B、分别利用训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征进行支持向量机训练，得到三个不同的支持向量机分类器；
步骤C、对于未知的测试样本，分别提取其视觉词袋特征、颜色直方图特征和纹理特征，并利用步骤B中所得到的相应的支持向量机分类器进行类别预测，得到三组类别预测结果，然后采用加权综合法对三组类别预测结果进行综合，从而得到最终的分类结果。优选地，所述提取视觉词袋表示，是指采用改进的词袋模型，提取加权的视觉词袋表示；具体包括以下步骤
步骤1、提取训练集中各个图像的局部特征，将所有图像的局部特征放入一个文件中，形成局部特征点集；
步骤2、利用矢量量化方法对局部特征点集进行聚类，每个聚类中心表示一个视觉单词，所有聚类中心形成视觉单词库；
步骤3、将各个图像的局部特征分配给视觉词汇库中与其距离最近的视觉单词，然后统计各个视觉单词对应的词频，形成图像的视觉词袋特征；
步骤4、统计每一类场景所有图像的视觉词袋特征中各个视觉单词的词频的相加总和，从而得到一类场景的的总体视觉词袋表示；
步骤5、从步骤4的统计结果，即类场景的总体视觉词袋表示中取出词频较大的前N个视觉单词，N为预设的大于I的整数；对这N个视觉单词的词频进行归一化，并通过其词频的倒数来表示每个视觉单词对应的权重值，其值分别为Wi，0 < i < N+l, i为整数；将这些权重值进行归一化，使其权重值在0到I之间；然后对每一个权重值进行加I的运算，即
Wi = Wi + 1;
步骤6、将遥感图像所属类别的类总体词袋表示中的词频较大的前N个单词的权重值Wi乘以权重值Wi所对应的图像视觉词袋特征中的视觉单词词频，这样就得到该幅图像的加权的视觉词袋特征。优选地，步骤A中所述颜色直方图特征为采用512个bin进行量化的颜色直方图。优选地，所述纹理特征为5个尺度，6个方向的Gabor纹理特征。优选地，对视觉词袋特征和颜色直方图特征进行支持向量机训练时，采用直方图相交核作为核函数，对纹理特征进行支持向量机训练时，采用径向基函数作为核函数。优选地，步骤C中所述采用加权综合法对三组分类结果进行综合，具体按照以下方法计算测试图像视觉词袋特征，颜色直方图特征和纹理特征所对应的支持向量机分类器的类别预测结果，包括类别预测标签和类别预测概率值；取三个支持向量机分类器的第一预测结果，并将相应的三个类别预测概率进行排序，得到最大类别预测概率值，次大类别预测概率值和最小类别预测概率值；如果次大类别预测概率值对应的类别预测标签和最小类别预测概率值所对应的类别预测标签相同，并且它们的类别预测概率值相加之和大于最大类别预测概率值，则将其所代表的类别预测标签作为多特征融合的最终分类结果；否则，将最大类别预测概率值所对应的类别预测标签作为多特征融合的最终分类结果。相比现有技术，本发明具有以下有益效果
一、本发明具有更高的分类精度；
二、本发明采用改进的词袋模型作为图像的特征表示方法，可以在图像的局部特征不明显的时候增强图像的特征表示，从而提高图像的分类精度；
三、本发明综合利用图像的多种特征，包括局部特征，颜色特征和纹理特征，因此能够在图像单一特征不明显的情况得到更高的分类精度，使得处理的图像范围更大，且精度更 闻。
图I为遥感图像的局部特征示意图，其中图I (a)为原始图像，图I (b)为图I (a)的局部特征示意 图2为遥感图像的视觉词袋特征；
图3为本文实验中所采用的遥感图像训练集中Agriculture类的总体词袋表示；
图4为遥感图像的颜色直方图特征示意图，其中图4 Ca)为原始图像，图4 (b)为图4(a)的R分量直方图，图4 (C)为图4 (a)的G分量直方图，图4 (d)为图4 (a)的B分量示意 图5为改进后的BOVW生成算法和原始BOVW的各个类的精确度和总的平均分类精确
度；
图6为单一特征和多特征融合方法的各个类的精度和总的平均分类精度；
图7为加权综合法，多数票法和完全一致法各个类的精度和总的平均分类精确度对比。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明
考虑到每类图像所具有的显著特征并不一致，并且不同特征错分的情况也不尽相同，本发明提出了多特征融合的遥感图像分类方法，利用视觉词袋特征、颜色直方图特征和纹理特征分别进行分类，并根据每种特征所得的分类结果进行投票表决，最终获得多特征融合后的分类结果；本发明进一步对视觉词袋模型进行了改进，通过对不同场景类的显著单词特征信息进行加权，从而提高了单一图像与整体类的相似程度。对一些个体差异比较明显，但语义相似的图像取得了很好的分类正确率。本发明方法具体按照以下步骤
步骤A、分别提取遥感图像训练集的视觉词袋特征、颜色直方图特征和纹理特征，具体如下
步骤Al、提取遥感图像训练集中各个图像的局部特征，将所有图像的局部特征放入一个文件中，形成局部特征点集；
图像的局部特征是根据某种显著性准则定义的与其邻域相区别的图像模式，通常与一种或几种图像属性的改变相关联，存在点、边、图像区块等多种形式。可以克服视角和光照变化、背景混淆、遮挡和类内差异等视觉物体表示的困难，通过这些局部的特征进行目标的辨识，使得采用局部特征技术在复杂背景下的目标识别有着越来越广泛的应用，并有较好的表现。如具有各种不变性的SIFT (Scale Invariant Feature Transform)特征集特征检测和描述于一体，对旋转、尺度和亮度等变换保持不变，对仿射变换、视角变化和光照变化也具有一定的稳定性。本发明优选采用SIFT特征作为图像的局部特征。SIFT特征为现有技术，详细内容可参考文献DAVID G. LOWE. Distinctive ImageFeatures from Scale-Invariant Keypoints[J]. International Journal of ComputerVision, 2004，60 (2) : 91-100.，其包含步骤如下
SIFT特征的构造方法包括关键点的检测和描述子的构造两部分。I)将输入图像通过不同尺度的高斯核函数连续滤波和下采样，形成高斯金字塔图像。再将相邻尺度的两个高斯图像相减得到DoG(Difference of Gaussians),即金字塔多尺度空间表示。然后对金字塔多尺度空间上的每个点与相邻尺度和相邻位置的点逐个进行比较，得到的局部极值位置即为关键点所处的位置和对应的尺度。通过拟合三维二次函数对关键点进行进一步的精确定位，去除低对比度关键点和不稳定的边缘响应点，以增强匹配稳定性和抗噪声能力。2)在构造SIFT描述子之前要为每个关键点赋予一个主方向，使描述子具有旋转不变性。对于每个特征区域，首先计算区域内所有像素的梯度模值 和梯度方向。
权利要求
1.一种基于多特征融合的遥感图像分类方法，其特征在于，该方法包括以下步骤 步骤A、分别提取训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征； 步骤B、分别利用训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征进行支持向量机训练，得到三个不同的支持向量机分类器； 步骤C、对于未知的测试样本，分别提取其视觉词袋特征、颜色直方图特征和纹理特征，并利用步骤B中所得到的相应的支持向量机分类器进行类别预测，得到三组类别预测结果，然后采用加权综合法对三组类别预测结果进行综合，从而得到最终的分类结果。
2.如权利要求I所述基于多特征融合的遥感图像分类方法，其特征在于，所述提取视觉词袋表示，是指采用改进的词袋模型，提取加权的视觉词袋表示；具体包括以下步骤 步骤I、提取训练集中各个图像的局部特征，将所有图像的局部特征放入一个文件中，形成局部特征点集； 步骤2、利用矢量量化方法对局部特征点集进行聚类，每个聚类中心表示一个视觉单词，所有聚类中心形成视觉单词库； 步骤3、将各个图像的局部特征分配给视觉词汇库中与其距离最近的视觉单词，然后统计各个视觉单词对应的词频，形成图像的视觉词袋特征； 步骤4、统计每一类场景所有图像的视觉词袋特征中各个视觉单词的词频的相加总和，从而得到一类场景的的总体视觉词袋表示； 步骤5、从步骤4的统计结果，即类场景的总体视觉词袋表示中取出词频较大的前N个视觉单词，N为预设的大于I的整数；对这N个视觉单词的词频进行归一化，并通过其词频的倒数来表示每个视觉单词对应的权重值，其值分别为Wi，O < i < N+l, i为整数；将这些权重值进行归一化，使其权重值在O到I之间；然后对每一个权重值进行加I的运算，即Wi = Wi + I ； 步骤6、将遥感图像所属类别的类总体词袋表示中的词频较大的前N个单词的权重值Wi乘以权重值Wi所对应的图像视觉词袋特征中的视觉单词词频，这样就得到该幅图像的加权的视觉词袋特征。
3.如权利要求2所述基于多特征融合的遥感图像分类方法，其特征在于，所述局部特征为SIFT特征。
4.如权利要求2所述基于多特征融合的遥感图像分类方法，其特征在于，所述N的值为20。
5.如权利要求2所述基于多特征融合的遥感图像分类方法，其特征在于，所述矢量量化方法为K均指聚类方法。
6.如权利要求I所述基于多特征融合的遥感图像分类方法，其特征在于，步骤A中所述颜色直方图特征为采用512个bin进行量化的颜色直方图。
7.如权利要求I所述基于多特征融合的遥感图像分类方法，其特征在于，所述纹理特征为5个尺度,6个方向的Gabor纹理特征。
8.如权利要求I所述基于多特征融合的遥感图像分类方法，其特征在于，对视觉词袋特征和颜色直方图特征进行支持向量机训练时，采用直方图相交核作为核函数，对纹理特征进行支持向量机训练时，采用径向基函数作为核函数。
9.如权利要求I所述基于多特征融合的遥感图像分类方法，其特征在于，步骤C中所述采用加权综合法对三组分类结果进行综合，具体按照以下方法计算测试图像视觉词袋特征，颜色直方图特征和纹理特征所对应的支持向量机分类器的类别预测结果，包括类别预测标签和类别预测概率值；取三个支持向量机分类器的第一预测结果，并将相应的三个类别预测概率进行排序，得到最大类别预测概率值，次大类别预测概率值和最小类别预测概率值；如果次大类别预测概率值对应的类别预测标签和最小类别预测概率值所对应的类别预测标签相同，并且它们的类别预测概率值相加之和大于最大类别预测概率值，则将其所代表的类别预测标签 作为多特征融合的最终分类结果；否则，将最大类别预测概率值所对应的类别预测标签作为多特征融合的最终分类结果。
全文摘要
本发明公开了一种基于多特征融合的遥感图像分类方法，包括以下步骤步骤A、分别提取训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征；步骤B、分别利用训练集遥感图像的视觉词袋特征、颜色直方图特征和纹理特征进行支持向量机训练，得到三个不同的支持向量机分类器；步骤C、对于未知的测试样本，分别提取其视觉词袋特征、颜色直方图特征和纹理特征，并利用步骤B中所得到的相应的支持向量机分类器进行类别预测，得到三组类别预测结果，然后采用加权综合法对三组类别预测结果进行综合，从而得到最终的分类结果。本发明进一步采用改进的词袋模型进行视觉词袋特征提取。相比现有技术，本发明可以获得更精确的分类结果。
文档编号G06K9/62GK102622607SQ20121004306
公开日2012年8月1日 申请日期2012年2月24日 优先权日2012年2月24日
发明者万定生, 冯钧, 刘帅, 姜玲玲, 朱跃龙, 李士进, 洪凡荣, 邹阳 申请人:河海大学