基于视觉显著性的高光谱遥感图像分类方法及系统与流程

本发明涉及高光谱遥感图像分类领域，更具体地说，涉及一种基于视觉显著性的高光谱遥感图像分类方法及系统。

背景技术：

高光谱遥感图像是指通过光谱分辨率达到10^-2λ数量级的高光谱仪获取的图像。高光谱遥感图像类似于一个三维立方体，自上而下对应多个维度，每个维度所采集的平面信息，一般称其为空间信息；每个维度中同一位置的像素点所组成的向量，一般称其为光谱信息。

遥感是一种远距离、非接触式的目标探测技术和方法，是人们研究地面物体特性的一种重要手段。随着硬件技术的快速发展以及应用需求的不断增长，所获遥感图像从宽维度逐渐向窄维度成像发展，同时呈现出高光谱分辨率、高时间分辨率等特点，高光谱遥感由此而产生。高光谱遥感技术是遥感发展史上最具标志性的成果，它的迅速发展引起了各国科学家的广泛重视，成为当前遥感领域的研究热点。

通过高光谱遥感技术所获得的图像，在记录地物空间信息的同时也采集到了光谱信息，因而具有“图谱合一”的性质。相比较于传统的遥感图像，高光谱遥感图像具有分辨率高、数据量大、光谱范围窄、维度多且连续等特点，因此特征维数和信息冗余程度也相对较高。基于上述特点，对高光谱遥感图像的利用已经在海洋监测、植被研究、精细农业、地质调查、大气环境等方面得到广泛体现。

由于高光谱遥感图像能够以较高分辨率收集到地物信息，并且丰富的光谱信息有利于物质的物理化学特性反演，因此对其进行分类是获取地物信息的一种重要手段。近年来，越来越多的人们投身于高光谱遥感图像分类的方法研究中，挖掘其蕴含的海量信息，实现充分有效的利用。现有的高光谱遥感图像分类方法大多基于两种方式：(1)对光谱维度进行降维处理，将单个样本所对应的光谱向量输入到分类器进行分类；(2)取待分类像素点的邻域信息，将邻域信息与光谱向量结合并输入到分类器进行分类，一般称其为“空谱结合”分类方法。

有效的特征提取是提高高光谱遥感图像分类精度的关键。现有的高光谱遥感图像特征提取技术主要对光谱维度进行特征提取，而忽视了对空间维度信息的利用，尤其是在目前所采集的高光谱遥感图像空间分辨率较低的情况下，合理地提取空间信息，进而提高分类精度，是一项充满挑战的任务。

现有类似已公开的专利：

吴银花等2018年发明一种基于空间特征的高光谱数据端元提取方法、计算机可读存储介质、电子设备,适用于高光谱遥感数据解混合方法和应用技术研究,主要解决现有端元提取方法提取精度不高、运行时间较长的问题。基于空间特征的高光谱数据端元提取方法,包括以下步骤：1)初步计算高光谱数据中含有的端元数量；2)光谱相似度s的计算；3)端元提取候选像元集的获取；4)在获得的候选像元集j中,并根据步骤1)中估计的端元数量,进行端元提取。

解培中等2018年发明了一种基于谱带特异性学习的高光谱图像分类方法,在网络中加入一个空间残差块,用于提取高光谱图像的空间特征,为光谱特征提供有用的辅助信息,缓解了光谱特征空间变异性对分类性能的影响。同时可以避免网络深度加深时分类精度的降低。设计了平行网络。使用谱带分割算法对高光谱图像基于光谱进行均匀分割,使用平行网络分别同时提取分割后数据的光谱特征,减少了网络的训练时间。

任守纲等2018年发明了一种基于鉴别和鲁棒多特征提取的高光谱图像分类方法,针对高光谱图像中不同类型的空谱特征,本方法将其投影到一个共同的低秩、鉴别子空间,并保留不同特征的重要性。本方法运行包括两个阶段,首先,根据不同特征的重要性,分别赋予它们不同的权重；然后,学习一个具有鲁棒和鉴别特性的低维子空间；接着,将不同的特征投影至低维子空间中；最后,使用支持向量机对新的特征进行分类。本发明通过特征降维,不仅能够对噪声鲁棒,抵御高光谱图像中的噪声干扰,同时可以保留不同特征的重要性,同时利用已有的标签,使获得的特征具有鉴别特性,有效提高了分类的效果。

陈锻生等2018年发明了一种高光谱遥感图像地物空间波谱特征提取方法及系统,通过辅助分类器生成式对抗网络训练提取波谱特征；通过维度选择并从被选维度提取具有旋转不变的空间纹理特征；通过波谱特征和空间纹理特征的拼接形成地物空间波谱特征。同时公开一种采用上述地物空间波谱特征的、基于卷积神经网络的高光谱遥感图像分类系统。本发明验证了本发明公开的地物空间波谱特征提取技术不仅能更好的表征地物信息,还能以较少的标记数据集获得较高的分类准确率。

张菁等2013年发明一种基于光谱显著性的高光谱遥感图像小目标检测方法属于高光谱遥感图像领域。本发明在进行目标检测时利用从高光谱图像中提取的光谱信息和空间信息,采用改进的itti模型计算局部显著度,构造局部显著图；然后利用改进的进化规划方法,计算全局显著度,创建全局显著图；最后将全局显著图和局部显著图进行归一化合并得到总的视觉显著图,作为最终的目标检测结果。本发明根据光谱显著性建立适用于高光谱图像的显著性模型,对高光谱图像光谱特征和空间特征进行综合分析的基础上,实现图像感兴趣目标检测,这种方法能在没有先验信息的条件下检测与周围背景存在差异的目标,突出了图像的主要内容,降低了图像处理分析的复杂度。

技术实现要素：

本发明所针对的技术问题是高光谱遥感图像特征提取时空间信息利用率低的技术缺陷，提出一种基于视觉显著性的高光谱遥感图像分类方法及系统。由于空间维度的信息能够直观地反映地物的真实形状与类别，而视觉显著性机制能够通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，通过对显著性特征进行提取，能在没有先验信息的条件下检测与周围背景存在差异的目标,突出了图像的主要内容,降低了图像处理分析的复杂度。最后结合光谱信息进行分类，能够有效降低分类误差，提高分类精度。

本发明解决其技术问题所采用的基于视觉显著性的高光谱遥感图像分类方法包含如下步骤：

s1、根据主成份分析法对原始高光谱遥感图像r1进行降维，得到降维后高光谱遥感像r2^p×l×h，p为降维后的主成分个数，即降维后高光谱遥感图像r2^p×l×h的维数，l为高光谱遥感图像r2^p×l×h在空间长度方向上的像素点个数，h为高光谱遥感图像r2^p×l×h在空间宽度方向上的像素点个数；

s2、对降维后高光谱遥感图像r2的每一个主成分采用扩展形态学轮廓法提取形态学特征，得到多幅形态学特征图像，将多幅形态学特征图像组合叠加，形成新的高光谱图像数据r3^e×l×h，e为形态学特征图的个数，即新的高光谱图像数据的维数，l为高光谱遥感图像r3^e×l×h在空间长度方向上的像素点个数，h为高光谱遥感图像r3^e×l×h在空间宽度方向上的像素点个数；

s3、采用局部二值模式法对r3^e×l×h中的每个维度提取纹理特征，并重新组合成高光谱图像数据，得到图像r4^e×l×h；

s4、用m(i)表示r4^e×l×h中所有平面组成的数据，将高光谱遥感图像r4^e×l×h每一维度平面特征代表纹理特征，这些特征用于提取r3^e×l×h中的显著性特征：

高光谱遥感图像r4^e×l×h每一维度平面特征具有一张对应的纹理特征图，对每一张纹理特征图：进行白化操作以去除冗余并将特征值都归一化到[0,255]范围内，然后根据布尔图理论的先验分布理论分别取一组范围在[0,255]范围内的符合均匀分布的阈值θi，i＝1、2、3、…、n，n表示一张对应的纹理特征图所对应的一组布尔图的个数，然后得到一个包含n张纹理布尔图的布尔图组bte＝{bte1,bte2…bten}：

bte＝threshold(m′(i),θi)

上式中，m′(i)表示纹理特征图m(i)的像素值；α为预设的阈值，布尔图组的总组数为e；

接下来，对于每一张纹理布尔图，利用floodfill算法以图像的四个边界的像素作为种子点淹没掉不被包围的像素，保留具有闭合轮廓的像素，通过这一处理后，被包围的区域取1，不被包围的区域取0，得到一张纹理视觉注意图：

atei＝f(btei)，

其中，atei与btei分别表示任意一个布尔图组中的第i张纹理布尔图以及对应的纹理视觉注意图分别表示，

接下来，对每一张纹理注意力图分别进行膨胀操作及归一化处理，将处理后的纹理注意力图分为e组求平均，得到共e个纹理显著性图，每一个布尔图组的n张处理后的纹理视觉注意图为一组；

接下来，将每一个纹理显著性图和对应的形态学特征图进行加权融合，得到最终的待分类数据，即特征提取之后的e个数据sv，e个图像数据sv重新构成高光谱遥感图像r5^e×l×h；s5、将高光谱遥感图像r5^e×l×h输入到分类器进行分类。

本发明的基于视觉显著性的高光谱遥感图像分类系统具备计算机存储介质，计算机存储介质存储有计算机可执行指令，用于执行基于视觉显著性的高光谱遥感图像分类方法。

实施本发明的基于视觉显著性的高光谱遥感图像分类方法与系统，具有以下有益效果：本发明主要解决高光谱遥感图像特征提取时空间信息利用率低的问题，由于空间维度的信息能够直观地反映地物的真实形状与类别，而视觉显著性机制能够通过智能算法模拟人的视觉特点，本发明提取图像中的显著区域(即人类感兴趣的区域)，通过对显著性特征进行提取，能在没有先验信息的条件下检测与周围背景存在差异的目标,突出了图像的主要内容,降低了图像处理分析的复杂度，最后结合光谱信息进行分类，能够有效降低分类误差，提高分类精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是高光谱遥感图像特征提取及分类框架图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的提出的高光谱遥感图像特征提取及分类框架如图1所示。详细介绍如下：

(1)主成分分析法降维处理

根据主成份分析法对原始高光谱遥感图像r1进行降维，得到高光谱遥感图像r2的过程如下：

用x＝(x1,x2,...,xq)＝(x1,x2,...,xb)^t表示原始高光谱遥感图像r1，其中，xi表示原始高光谱遥感图像r1的第i个像素点，i＝1,2,...,q，xj表示原始高光谱遥感图像r1的第j个维度，j＝1,2,...,b，分别利用公式(1)和公式(2)计算原始高光谱遥感图像r1的维度均值和协方差矩阵：

其中，q和b均为正整数，为原始高光谱遥感图像r1的维度均值，q为像素点个数，q＞0；为原始高光谱遥感图像r1的协方差矩阵，b为维度个数，b＞0；

计算的特征根λ1≥λ2≥...≥λb≥0，设定阈值θ，选择满足λ1≥λ2≥...≥λp≥θ的前p个主成分，p为正整数，且p＞1，b远远大于p，由前p个主成分的特征根得到相应的单位特征向量t1,t2,...,tp，w＝[t1,t2,...,tp]，a为w的转置矩阵，即a＝w^t，以a为变换矩阵，对原始高光谱遥感图像进行变换，变换后的结果为y，y＝(y1,y2,...,yp)^t＝ax，y即为得到的高光谱遥感图像r2^p×l×h，p为降维后的主成分个数，即降维后高光谱遥感图像r2^p×l×h的维数，l为高光谱遥感图像r2^p×l×h在空间长度方向上的像素点个数，h为高光谱遥感图像r2^p×l×h在空间宽度方向上的像素点个数。

(2)扩展形态学轮廓法对降维后的高光谱遥感图像进行处理

经过主成分分析法降维，得到的高光谱数据集维数为p维，即包含p个主成分平面。接下来，分别对每一个主成分进行扩展形态学轮廓法提取形态学特征。

设f(x,y)和g(x,y)为定义在二维离散空间f和g上的两个离散函数，其中f(x,y)为每一主成分图像在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，df为f(x,y)的域，dg为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为:

式中，dist算子为距离算子。在经典形态学中，开、闭运算是去除比结构元素小的目标的一部分，现在希望寻求一种能把比结构元素小的目标作为一个整体直接去除的方法，同时把多尺度分析的概念运用到扩展形态学方法中，因此dist算子的选择是一个关键点，本发明中选择定义如下：

定义扩展开、闭运算为

经过多次开闭运算，得到多幅形态学特征图像。将多幅形态学特征图像组合叠加，形成新的高光谱图像数据r3^e×l×h，e为形态学特征图的个数，即新的高光谱图像数据的维数，l为高光谱遥感图像r3^e×l×h在空间长度方向上的像素点个数，h为高光谱遥感图像r3^e×l×h在空间宽度方向上的像素点个数。

(3)局部二值模式法提取纹理特征

局部二值模式是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。对图像r3^e×l×h提取纹理特征时，仍然是分别对e个空间图像进行处理，具体处理方式如下。

原始的局部二值模式算子定义为在nl*ml的窗口内，以窗口中心像素为阈值，将相邻的nl·ml个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，nl*ml邻域内的nl·ml个点经比较可产生nl·ml位二进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息用公式表示如下：

其中，(xc,yc)为中间像素点的值，p为邻域的第p个像素，ip为邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数，定义如下：

对r3^e×l×h中的每个维度提取纹理特征并重新组合成高光谱图像数据，得到图像r4^e×l×h。

(4)基于布尔图理论的显著性检测法提取显著性特征，

将高光谱遥感图像r4^e×l×h每一维度平面特征代表纹理特征(即一个纹理特征图)，这些特征用于提取r3^e×l×h中的显著性特征。用m(i)表示r4^e×l×h中所有平面组成的数据；

高光谱遥感图像r4^e×l×h每一维度平面特征具有一张对应的纹理特征图，对每一张纹理特征图，通过下列公式对纹理特征图进行白化操作以去除冗余并将特征值都归一化到[0,255]范围内：

其中，k为像素数，pij为像素值，σ和u分别为标准差和均值，σ²为方差，xij为白化操作后得到的对应像素值。

然后根据布尔图理论的先验分布理论分别取一组范围在[0,255]范围内的符合均匀分布的阈值θi(i＝1,2,3…n)，n表示一组布尔图的个数，本实施例中n＝50，θ1＝5，θn＝250，然后得到一个包含n张纹理布尔图的布尔图组bte＝{bte1,bte2…bten}：

bte＝threshold(m′(i),θi)

上式中，m′(i)表示纹理特征图m(i)的像素值；α为预设的阈值，即当纹理特征图的像素值大于等于阈值时，则将此处像素值置为1，否则此处像素值置为0；布尔图组的总组数为e。

接下来，对于每一张纹理布尔图，利用floodfill算法对纹理布尔图进行处理，得到纹理注意力图；根据格式塔心理学提出的图像-背景分离原则：显著性目标很大程度上具有完整的闭合轮廓，而背景往往是无序的。由之前得到的纹理布尔图中被包围的区域是值为0或1的连通区域，具有完整的闭合轮廓，而不被包围的区域则是杂乱无序的背景区域，因此对于纹理布尔图bte，利用floodfill算法以图像的四个边界的像素作为种子点快速淹没掉不被包围的像素，保留具有闭合轮廓的像素，通过这一处理后，被包围的区域取1，不被包围的区域取0，最终得到一张纹理视觉注意图：

atei＝f(btei)，

其中，atei与btei分别表示任意一个布尔图组中的第i张纹理布尔图以及对应的纹理视觉注意图；

接下来，对每一张纹理注意力图分别进行膨胀操作及归一化处理，将处理后的纹理注意力图分为e组求平均，得到共e个纹理显著性图，每一个布尔图组的n张处理后的纹理视觉注意图为一组。求平均是指，将一组n个处理后的纹理注意力图相加后除以n。

根据下列公式对纹理注意图ate在其l2范数范围内进行归一化处理以保留小的视觉注意区域；与l1范数相比，l2范数对极小的显著性区域并不敏感。为了使得具有小的、分散的显著性区域的视觉注意图不被抑制，在对纹理注意图ate进行归一化处理之前进行了内核宽为ωd1的膨胀操作，归一化后将视觉注意图分为e组求平均，即得到e个纹理显著图sm：

sm＝average(s)，

其中，a*为膨胀操作之后的注意力图，||a*||2表示l2范数，s即为归一化后的初步显著性图。

接下来，将每一个纹理显著性图和对应的形态学特征图进行加权融合，得到最终的待分类数据，即特征提取之后的e个数据sv，如下公式所示：

sv＝ξsi+ηsm+β，

其中，sv表示融合后的特征图，si表示形态学特征图，sm表示显著性图，ξ为形态学特征图si的权值，η为显著性图sm的权值，β为常数，表示偏置，本实施例中，经过多次实验，最终取ξ＝0.45、η＝0.55和β＝0.3。e个图像数据sv重新构成高光谱遥感图像r5^e×l×h。

(5)将高光谱遥感图像r5^e×l×h输入到分类器进行分类

本发明中分类器采用激活函数为softmax函数的神经网络，在softmax函数前有一层神经网络，高光谱遥感图像r5^e×l×h中每一个光谱向量与邻域像素点经过拉伸后输入到神经网络，经过神经网络后得到一个向量t，向量t进入softmax函数后，实现分类；

softmax函数为：

其中，yi表示向量t中的第yi个元素，softmax函数syi将输入向量中的元素映射到(0，1)区间内，得到输入向量的概率向量，则原始高光谱遥感图像r1的类别为softmax函数映射得到的概率向量中最大概率值所对应的类别。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。