基于mRMR和KPCA的遥感图像特征降维方法与流程

本发明涉及遥感图像处理技术领域，尤其涉及一种遥感图像特征降维方法。

背景技术：

随着对地观测技术的发展，遥感数据日益多元化，呈现出明显的体量大、时效强、类型杂、难辨真伪以及潜在价值大等“大数据”特征。国际数据资讯公司(International Data Corporation，IDC)的最新研究指出，过去几年全球新增的数据有95％是不精确的、远超出正常数据处理规模的非结构化数据。并且，目前对遥感数据的利用率尚未达到10％，造成对资源的极度浪费和“维灾难”问题。因此，如何在保证地物识别率不下降的同时，高效地从高分遥感数据中挖掘出具有鉴别能力的信息，是值得研究的重要课题。

作为解决“维灾难”的手段，数据挖掘(Data Mining，DM)一经提出便迅速发展成为相当活跃的领域。DM解决该问题的手段在于利用特征空间的高维混合性实现维数的约简，其主要包括特征选择方法和特征变换方法。前者能够有效剔除冗余信息，降低噪声影响。然而，即使最终只剩下两个单独最优特征，也未必保证是最好的特征组合，甚至会表现最差。并且存在小样本、目标特征子集维度、新数据类型等问题，此外，高分遥感图像的谱、直方图等特征需要通过变换才能得到；后者通过映射或变换等方式将高维空间的数据转换到低维空间，能够更多地兼顾图像数据的高阶统计信息，尤其是针对非全局线性数据具有很强的分类能力。但是，遥感图像没有统一的固定结构，并且具有模糊性、高分辨率及图像理解的多义性等特点。

综上可知，单独使用特征选择方法或特征变换方法对高维遥感图像特征进行降维的方式均存在一些不足之处。

技术实现要素：

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于mRMR(minimum Redundancy-Maximum Relevance，最小冗余最大相关)和KPCA(Kernel Principal Component Analysis，核主成分分析)的遥感图像特征降维方法，将特征选择方法与特征变换方法进行有机结合来进行遥感图像特征降维，在有效解决遥感图像(尤其是高分辨率遥感图像)的“维灾难”问题的同时，可有效提高遥感图像的分类精度。

本发明具体采用以下技术方案解决上述技术问题：

基于mRMR和KPCA的遥感图像特征降维方法，首先使用mRMR方法对遥感图像的原始特征集进行特征选择，得到遥感图像特征的初始子集；然后使用KPCA方法对遥感图像特征的初始子集进行进一步降维，得到遥感图像特征的优化子集。

根据相同的发明思路还可以得到以下技术方案：

一种遥感图像分类方法，在训练阶段，首先提取遥感图像训练样本的图像特征，并以所提取图像特征作为分类模型的输入，以遥感图像训练样本所属类别作为分类模型的预期输出，对分类模型进行训练，训练完毕后的分类模型即为遥感图像分类器；在分类阶段，首先提取遥感图像测试样本的图像特征，并以所提取图像特征作为所述遥感图像分类器的输入，遥感图像分类器的输出即为所述遥感图像测试样本的类别；所述图像特征为通过以上技术方案所述遥感图像特征降维方法对遥感图像的原始图像特征进行特征降维得到。

基于mRMR和KPCA的遥感图像特征降维装置，包括：

mRMR特征选择模块，用于使用mRMR方法对遥感图像的原始特征集进行特征选择，得到遥感图像特征的初始子集；

KPCA特征降维模块，用于对mRMR特征选择模块所输出的遥感图像特征的初始子集进行非线性特征变换，得到遥感图像特征的优化子集。

一种遥感图像分类装置，包括特征提取单元和遥感图像分类器；所述特征提取单元用于提取遥感图像的图像特征，并将所提取的图像特征输入遥感图像分类器；所述遥感图像分类器通过以下方法预先训练得到：首先提取遥感图像训练样本的图像特征，并以所提取图像特征作为分类模型的输入，以遥感图像训练样本所属类别作为分类模型的预期输出，对分类模型进行训练，训练完毕后的分类模型即为遥感图像分类器；所述特征提取单元包括原始特征提取模块以及如上所述遥感图像特征降维装置，原始特征提取模块用于提取遥感图像的原始图像特征，所述遥感图像特征降维装置用于对原始特征提取模块所提取的遥感图像的原始图像特征进行特征降维。

相比现有技术，本发明技术方案具有以下有益效果：

本发明针对遥感图像的特点，将特征选择方法与特征变换方法进行有机结合：首先利用mRMR方法对遥感图像的原始特征集进行特征选择，找出与类别相关性最大同时相互之间冗余性最小的初始子集；然后利用核主成分分析方法对初始子集进行进一步降维。本发明在有效解决遥感图像(尤其是高分辨率遥感图像)的“维灾难”问题的同时，可有效提高遥感图像的分类精度。

附图说明

图1为具体实施方式中本发明的遥感图像特征降维流程示意图；

图2为采用不同特征降维方案的遥感图像分类准确率对比；

图3为采用不同特征降维方案的特征降维效果对比。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

为了解决现有遥感图像特征降维技术单独采用特征选择方法或特征变换方法的不足，本发明将特征选择方法与特征变换方法进行有机结合来对遥感图像进行特征降维，该方法主要包括两个步骤：1)采取最小冗余最大相关(mRMR)方法对原始特征集进行相关性分析，初步筛选并生成初始子集，以消除部分冗余和不相关的特征；2)利用核主成分分析(KPCA)方法对初始子集进行非线性变换，以得到更多需要变换才能得到的特征信息，进而得到优化后的特征子集。

本发明的遥感图像特征降维方法，如图1所示，具体包括以下步骤：

步骤1、使用mRMR方法对遥感图像的原始特征集进行特征选择，得到遥感图像的初始子集：

遥感数据具有高维性与非结构化性，严重影响对图像的分类性能及效率，造成遥感信息的大量冗余。而直接保留少部分原始特征会丢失图像内或图像间的各种隐含关系，不利于后续操作获得遥感数据的非线性特征。也就是说，初步剔除部分冗余特征而保留大部分原始特征有利于后续操作获得遥感数据的非线性特征。由于基于互信息理论的mRMR方法最大化特征子集与类别相关性的同时能够最小化特征之间的冗余性，因此，本发明采用mRMR方法初步消除部分冗余和不相关的特征，从而确定遥感图像的初始子集。

mRMR方法[Peng H,Long F,Ding C.Feature selection based on mutual information criteria of max-dependency,max-relevance,and min-redundancy[J].IEEE Transactions on pattern analysis and machine intelligence,2005,27(8):1226-1238.]基于最大依赖性选取优化子集，假设从初始特征中选择最小特征子集S＝{x₁,x₂,...,x_i,x_i+1,...,x_m}，以m为该子集大小，f为候选特征，用S_x表示已选的特征集，|S_x|表示已选特征集包含的特征个数，那么，该方法的评价准则函数表达式为：

$J\left(f\right)=I(c;f)-\frac{1}{\left|S_x\right|}\underset{s\∈S_x}{\mathrm{\Σ}}I(s;f)$

式中，I(s；f)表示s与f之间的互信息。如果特征x_i与特征x_j相互依赖，则意味着I(x_i；x_j)比较大，即，它们之间的相关性比较大，因而舍去它们中的任意一个都不会对类别的区分力有太大的影响，此时，称x_i与x_j互相冗余。另外，在特征选择的过程中，每次选择的特征都接近最优解。假设已有特征集S_m-1，那么，选择下一个特征x_m的过程即是最优化的过程，该过程的最优度量为：

$\underset{x_j\∈(X-S_{m-1})}{\max }\[I(x_j,c)-\frac{1}{m-1}\underset{x_j\∈S_{m-1}}{\mathrm{\Σ}}I(x_j,x_i)\]$

以下为本实施方式的具体算法步骤：

Step 1.子集初始化。

与类别c的互信息I(x_i,c)最大的候选特征x_i，将其加入初始子集，公式如下，此时，初始子集S＝{y1}，大小为1，即，与类别相关性最大的原始图像特征x_i将被首先加入S集；

$\arg \underset{x_i}{\max }I(x_i,c)$

Step 2.逐步扩充S。

为了兼顾初始子集的相关性与冗余性，对候选特征进行相关性分析和冗余性分析，逐次将候选特征集中表现最优即与S弱冗余并且与c强相关的最优特征x_i加入S集，筛选公式为；

$\arg \underset{x_i}{\max }\[\frac{1}{\left|S\right|}\mathrm{\Σ}I(x_i,c)-\frac{1}{{\left|S\right|}^2}\underset{y_j\∈S}{\mathrm{\Σ}}I(x_i,y_j)\]$

Step 3.根据子集评价结果确定S。

当S扩大到一定大小m(m与M接近)时，与已选特征集S_x冗余并且与类别c弱相关的特征均被余下，此时，将其剔除，S的大小为m。然后，对该子集进行评价，并与S_initial的测试效果相比，如果评价效果不容乐观，则转Step 2，并且增大m与M的差距，即，降低m。否则，转Step 4。此过程中，评价效果的好坏是综合m与测试效果考虑的，允许牺牲子集空间存储消耗，即，保留较大的m，而不允许保留较差的测试效果；

Step 4.此时，子集S即为我们需要的初始子集，记为S_first＝{y₁,y₂,...,y_m}，本算法结束。

步骤2、使用KPCA方法对遥感图像的初始子集进行进一步降维，得到遥感图像的优化子集：

KPCA是通过非线性映射的方式将数据转换到低维空间的典型的特征变换方法，与线性的特征变换方法相比，KPCA能够得到更多需要变换才能得到的特征信息，尤其是能够很好地处理非线性特征。特别地，高分遥感图像没有统一固定的空间结构，并且，mRMR方法所确定的初始子集是对原始特征集的选择运算，无法得到图像间的各种隐含关系，不利于获得遥感数据的非线性特征。因此，为了能够充分运用高分遥感图像的特征信息，本发明采用KPCA对初始子集进行非线性的特征变换。

KPCA通过核函数将数据集映射到一个高维特征空间，再在该空间采用PCA方法实现数据集的线性变换，从而实现原始数据集的非线性变换，具体的算法步骤如下。

算法步骤：

Step 1.计算核矩阵K＝{K_ij}_n×n，通过该矩阵将原始数据映射到高维特征空间。

公式如下：

$K(x_i,x_j)=\exp \left(\frac{-\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2}\right)$

式中，x_i与x_j都是标准化了的样本数据，以μ表示样本均值，σ表示样本方差，则标准化公式如下：

$x_i=\frac{x_i-\mathrm{\μ}}{\mathrm{\σ}}$

Step 2.中心化矩阵K，得到矩阵K^c，以修正核矩阵。

假设以1_N表示每一个元素都是1/N的N×N的矩阵，则中心化公式如下：

K^c＝K-1_NK-K1_N+1_NK1_N

Step 3.对K^c进行特征值分解，并按照本征值的贡献率大小为本征值及相应的本征向量降序排列。

特征值分解的公式如下：

K^cV＝λV

Step 4.确定优化后的特征子集：

根据事先设定的阈值，选取累积贡献率大于该阈值的特征集[λ₁,λ₂,...,λ_q]，对应的本征向量集[v₁,v₂,...,v_q]即为优化后的特征子集W，此处的特征子集将初始子集包含的主要信息压缩在了主分量上，是对初始子集的空间变换；

Step 5.对子集W进行评价，并将其测试效果与S_first的测试效果相比。如果评价效果不容乐观，则转Step 2，并且减小阈值的取值。否则，转Step 6。其中，评价效果的好坏是根据W的大小q与测试效果综合考虑的，在可接受范围内，本算法允许牺牲测试效果，而不允许保留较大的子集空间存储消耗，即，在q足够小的情况下，允许W的测试效果比S_first的测试效果稍差；

Step 6.此时，子集W即为本发明最终得到的优化子集，将得到的优化子集记为S_best＝{v₁,v₂,...,v_p}，算法结束。

利用上述特征降维方法即可对遥感图像进行进一步地分类、目标识别、检索等应用。例如，对遥感图像进行分类时，在训练阶段，首先提取遥感图像训练样本的图像特征，并以所提取图像特征作为分类模型的输入，以遥感图像训练样本所属类别作为分类模型的预期输出，对分类模型进行训练，训练完毕后的分类模型即为遥感图像分类器；在分类阶段，首先提取遥感图像测试样本的图像特征，并以所提取图像特征作为所述遥感图像分类器的输入，遥感图像分类器的输出即为所述遥感图像测试样本的类别；所述图像特征为通过以上技术方案所述遥感图像特征降维方法对遥感图像的原始图像特征进行特征降维得到。

上述分类模型可采用支持向量机、前馈神经网络、深度学习神经网络等现有技术，此处不再赘述。

为了验证本发明的特征降维效果，将其运用于遥感图像分类，并与基于原始数据集的遥感图像分类、基于mRMR降维的遥感图像分类、基于KPCA降维的遥感图像分类进行效果对比。实验对象是一个大型的遥感图像分类公共测试数据集，该数据集是从United States Geological Survey(USGS)处下载的，共有21类，每类包括100幅图像，均为QuickBird高分辨率遥感图像，分辨率大小为256×256。这些图像包括美国的多个州的场景：农田，飞机，棒球内场，海滨，建筑物，灌丛，稠密居住区，森林，高速公路，高尔夫球场，海港，十字路口，中等稠密居住区，活动房区，立交桥，停车场，河流，跑道，稀疏居住区，储油罐和网球场。这些图像反映了每类场景的典型情况，具有较好的代表性。实验以4：1的比例随机抽取训练样本和测试样本，进行特征降维后，使用LIBSVM实现分类。

以横轴表示样本集随机分组的当前次数，纵轴表示相应的分类精度，折线“Initial”表示采用原始特征集S_initial的分类效果，折线“mRMR”、“KPCA”、“Sel_Ex”分别表示使用mRMR方法、KPCA方法以及本文方法(Sel_Ex)进行维数约简的分类效果。则几种不同方法的分类效果对比如图2所示。

由图2可知，在分类的准确率上，与KPCA方法相比，Sel_Ex能够达到与其相当的分类效果，并且能够提高样本集的分类精度，而mRMR方法表现最差。主要的原因有：其一，mRMR方法容易损失信息。很多与类别相关性不大的特征反而能够与其它特征组合成为鉴别力强的特征，此时，该特征的判别函数值较小，容易被剔除。因此，mRMR方法有可能丢弃很多不必要的弱相关信息；其二，遥感图像结构复杂，尤其是高分遥感图像包含丰富的信息，具有谱、直方图等需要非线性变换才能得到的特征。KPCA方法通过非线性映射实现降维，能够保留更多主元信息，这对高分遥感图像的分类研究极其有利。因此，KPCA方法能够达到可观的效果，并且可以降低维度；其三，Sel_Ex综合运用了相关性分析以及核函数方法。它对S_initial的冗余信息的初步剔除能够一定程度上降低特征集的冗余性，另一方面，本发明方法得到的初始子集S_first不仅表现效果良好，而且能够保留充足的样本数据信息，尤其是能够确保特征空间的结构不受损坏，这大大有利于通过核函数提取原始特征集的非线性结构信息。因此，本发明方法能够提高S_initial的分类精度。

此外，评价降维效果的好坏，是对子集维度的大小与测试效果综合考虑的，尤其是对子集空间存储消耗的满意度超过对测试效果的满意度，因此，从子集空间存储消耗的角度考查本发明方法(Sel_Ex)的性能。S_initial以及各种方法得到的优化子集的维度分别为4200维、1000维、50维、30维，假如把原始特征集的维度空间看作单位圆1，以球“initial”表示S_initial的维度空间，以球“mRMR”、“KPCA”、“Sel_Ex”分别表示采用“mRMR”、“KPCA”方法和本发明方法“Sel_Ex”得到的优化子集S_best的维度空间，坐标轴表示维度空间，则各种方法的降维效果对比示意图如图3所示。图3中，数字0.238、0.119、0.007分别表示各种方法得到的优化子集空间相对于原始特征集的维度空间的比率大小。

图3表明：本发明方法得到的优化子集的维度空间是最小的，是S_initial的维度空间的千分之七，能够更大程度地降低原始特征集的维度。

综合图2和图3可知，本发明方法能够更大程度地降低特征集的维度，同时能够一定程度上提高分类的准确度，很好地维持了分类性能和运算速度之间的平衡。