基于特征注意和特征改善网络的极化SAR图像分类方法与流程

本发明属于图像处理
技术领域：
，更进一步涉及一种基于特征注意和特征改善网络的极化sar图像分类方法，可用于极化sar图像分类。
背景技术：
：合成孔径雷达sar是近年来获取地物信息的一项重要技术。其主要优势在于它能够在所有天气条件下提供高分辨率图像数据，而不受昼夜影响。极化合成孔径雷达sar除了具有上述特性外，还可以利用物体极化波的后向散射来形成图像，散射信息极大丰富了人们对极化sar图像呈现的地物类型的认知，使极化sar分类问题逐渐成为遥感领域既有挑战性又有很大实际应用价值的一项研究。极化sar分类是一种像素级分类，既要精确地为每个像素赋予一个类别，也要利用像素之间的空间关系保持每类连贯区域内的一致性，即要同时解决好分类和定位两个问题。传统的极化sar分类主要分为无监督和有监督方法，无监督方法有经典的李仲森等人提出的基于wishart距离的极化sar图像分类方法，理论基于像素的极化协方差矩阵和极化相干矩阵都服从维希特分布，但无监督方法总体分类精度很低。有监督方法可以分为两大类，一种是利用传统机器学习分类模型，另一种是利用深度学习分类模型。极化sar领域常用的机器学习模型有svm、随机森林等，深度学习模型有dbn、sae、cnn、fcn等。由于深度学习模型具有很强的特征表达能力，故而极大提高了极化sar分类精度，但分类结果的区域内一致性和精度仍有不足，难以避免出现人眼可见的噪声。为了进一步增强区域内一致性并提升分类精度，很多模型对现有模型做出了改进，加入了前处理、后处理等步骤，但此类模型流程较复杂，且无法进行端到端的学习和分类。技术实现要素：本发明的目的在于针对上述已有技术的不足，提出一种基于特征注意和特征改善网络的极化sar图像分类方法，以增强分类结果的区域内一致性，提升分类精度，实现端到端的学习和分类。为实现上述目的，本发明采取的技术方案包括如下：(1)输入一幅待分类的极化sar图像，并对该待分类图像进行滤波，去除图像中的相干斑噪声，得到滤波后的极化sar图像；(2)对滤波后的图像中的每个像素的散射矩阵s进行pauli分解，得到三通道的散射强度信息，用三通道信息合成滤波后的极化sar图像的伪彩图，并通过伪彩图的rgb值合成该极化sar图像的分类标签数据；(3)提取滤波后的极化sar图像的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合；(4)构建极化sar图像分类网络的输入表示层和特征注意子网络：(4a)设置两个输入支路，一支路用于输入rgb三通道，另一支路用于输入(3)得到的多通道特征；再给每一支路分别连接两个卷积层对该支路输入进行层级特征表示，输出两组特征图，以构成由两支路输入和四个卷积层构成的输入表示层；(4b)将(4a)得到的两组特征图进行通道叠加后连接两个卷积层，并在第二个卷积层后连接sigmoid层进行激活，得到一个特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合特征图，以构成特征注意子网络；(5)构建极化sar图像分类网络的vgg16编码器，即用(4)构建的输入表示层和特征注意子网络代替vgg16图像分类网络的第一个卷积模块的两个卷积层，保留第二、三、四、五个卷积模块，由这五个模块依次得到分辨率逐渐降低的特征图；将原vgg16网络的两个全连接层转化为卷积层，并由之后连接的softmax分类层输出预测分数图；(6)构建极化sar图像分类网络的解码器：(6a)在vgg16编码器的第四、第三和第一个卷积模块得到的特征图后分别连接两个卷积层，得到三组残差特征图，并将这三组残差特征图分别与第四、第三和第一个卷积模块的特征图相加，以构成三个特征改善子网络，即分别为第一阶段特征改善子网络、第二阶段特征改善子网络和第三阶段特征改善子网络，每个特征改善子网络输出一组细节改善特征图；(6b)对(5)得到的预测分数图进行上采样后与第一阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出带权融合的复原特征图，即第一阶段复原特征图；(6c)对第一阶段复原特征图进行上采样后与第二阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第二阶段复原特征图；(6d)对第二阶段复原特征图进行上采样后与第三阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第三阶段复原特征图；(7)将(4)得到的输入表示层和特征注意子网络、(5)得到的vgg16编码器和(6)得到的解码器进行依次连接，构成特征注意和特征改善网络；(8)从(3)得到的滤波后的极化sar图像的特征集合中选取训练集，将该训练集输入特征注意和特征改善网络中进行训练，得到训练好的特征注意和特征改善网络；(9)将(3)得到的滤波后的极化sar图像的特征集合输入训练好的特征注意和特征改善网络中得到该极化sar图像的分类结果。本发明与现有技术相比，具有如下优点：第一，本发明采用特征注意和特征改善网络克服了现有技术分类结果区域内一致性较差和精确率较低的问题，有效增强了分类的区域内一致性、提升了分类精度。第二，本发明通过特征注意和特征改善网络直接输出图像分类的密集预测，不需要其他分类器的辅助，且不需要加任何后处理，就可实现端到端的极化sar分类，简化了极化sar分类的过程。附图说明图1是本发明的实现流程图；图2是本发明中特征注意和特征改善网络的结构示意图；图3是本发明中的特征注意子网络的结构示意图；图4是本发明中的特征改善子网络的结构示意图；图5是极化sar图像的伪彩图；图6是极化sar图像的真实地物标记图；图7是利用本发明方法和现有方法对极化sar图像进行分类得到的分类结果图；具体实施方式下面结合附图和具体实施例，对本发明作进一步的描述。参照图1，本发明的实现步骤如下。步骤1，输入待分类极化sar图像并对该图像进行滤波，得到滤波后的极化sar图像。(1a)输入一幅尺寸为h×p的待分类极化sar图像i，h和p分别代表图像的长和宽；(1b)采用滤波窗口大小为7×7的精致lee滤波方法对图像i进行滤波，去除i中的相干斑噪声，得到滤波后的极化sar图像i′。步骤2，合成极化sar图像的伪彩图，并通过伪彩图合成极化sar图像的分类标签数据。(2a)对滤波后极化sar图像i′中的每个像素的散射矩阵s进行pauli分解，公式表示如下：其中shh、svv和shv表示hh、vv和hv偏振方向的极化散射系数，a表示奇次散射，b和c表示数值不同的二面角散射。|a|2,|b|2和|c|2分别为三通道散射强度信息；(2b)将对散射矩阵s进行pauli分解得到的三通道散射强度信息|a|2,|b|2和|c|2分别作为红绿蓝rgb三通道值形成i′的伪彩图；(2c)将伪彩图中同一颜色的像素标记相同的类别，其中背景类记为0，其他类分别记为1,2,…l，l为i′包含的类别总数。步骤3，提取滤波后的极化sar图像i′的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合。(3a)对滤波后的极化sar图像i′提取共计30个通道的特征，作为i′的初始特征集合f，表示如下：f＝[f1,f2,f3,f4,f5,f6]其中，f1＝[h,α,a]，h,α,a分别表示由cloude分解得到的散射熵通道、散射角通道和反熵通道；f2＝[pv,pd,ps]，pv,pd,ps分别表示由freeman分解得到的体散射功率通道、二次散射功率通道和单次散射功率通道；f3＝[pv,pd,ps,pc]，pv,pd,ps,pc分别表示由yamaguchi分解得到的体散射功率通道、二次散射功率通道、单次散射功率通道和螺旋体散射功率通道；f4＝[con,asm,ent,idm,cor]，con,asm,ent,idm,cor分别表示由glcm矩阵得到的对比度通道、能量通道、熵通道、逆差矩通道和相关性通道；f5共9个通道，表示为：f5＝[t11,t22,t33,real(t12),imag(t12),real(t13),imag(t13),real(t23),imag(t23)]，f6共6个通道，表示为：ttq表示极化sar图像的每个像素的相干矩阵t的第t行第q列元素，且t∈[1,2,3]，q∈[1,2,3]，real(·)和imag(·)分别表示取复数的实部和虚部，span＝t11+t22+t33；(3b)现有的常用降维方法有主成分分析、独立成分分析、线性判别分析、流形学习等，本步骤使用但不限于主成分分析对初始特征集合进行降维，其实现如下：设该集合的协方差矩阵为c，对c进行特征值分解，公式表示为：c＝vdvt，其中，v是映射矩阵，d是由c的特征值组成的对角矩阵；将对角矩阵d去对角化后对得到的所有特征值从大到小排序，求所有特征值的总和以及前n个特征值的累计和，将累计和达到总和90％的特征值的个数n作为阈值，1≤n＜30；由初始特征集合和v的前n列映射向量得到降维后的特征集合；(3c)对降维后的特征集合进行方差归一化，得到均值为0、方差为1的新特征集合。步骤4，构建极化sar图像分类网络的输入表示层和特征注意子网络。(4a)构建输入表示层：建立两个输入支路，用于分别输入步骤2得到的rgb三通道和步骤3得到的多通道特征，每一支路分别连接两个参数相同的卷积层，即卷积核大小均为3×3，步长均为1，卷积核个数均为64，激活函数均为relu函数；每一支路分别输出一组通道数为64的特征图，以构成由两支路输入和四个卷积层构成的输入表示层。(4b)构建特征注意子网络：对(4a)得到的两组特征图进行通道叠加后连接两个卷积层，这两个卷积层的卷积核大小均为1×1，步长均为1；第一个卷积层的卷积核个数为128，激活函数为relu，第二个卷积层的卷积核个数为64，没有激活函数，这两个卷积层输出对两组输入特征进行特征选择后的特征图。在第二个卷积层后连接sigmoid层，对经过特征选择的特征图进行激活，得到取值范围为[0,1]的特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合的特征图，以构成特征注意子网络，如图3所示。步骤5，构建极化sar图像分类网络的vgg16编码器。(5a)用(4)构建的输入表示层和特征注意子网络代替现有vgg16图像分类网络的第一个卷积模块中的两个卷积层；(5b)保留vgg16分类网络的第二个卷积模块、第三个卷积模块、第四个卷积模块和第五个卷积模块，每个卷积模块的具体参数如下：第二个卷积模块依次由两个卷积层和一个最大池化层构成，两个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为128，激活函数均为relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为128，分辨率为原极化sar图像分辨率的1/16的特征图；第三个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为256，激活函数均为relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为256，分辨率为原极化sar图像分辨率的1/64的特征图；第四个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为512，分辨率为原极化sar图像分辨率的1/256的特征图；第五个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为512，分辨率为原极化sar图像分辨率的1/1024的特征图；(5c)将vgg16网络的两个全连接层转化为两个卷积层，其参数相同，卷积核大小均为1×1，步长均为1，卷积核个数均为1024，两个卷积层之后连接softmax分类层输出预测分数图；通过(5a)-(5c)的操作构成vgg16编码器。步骤6，构建极化sar图像分类网络的解码器。(6a)建立三阶段特征改善子网络：(6a1)建立第一阶段特征改善子网络：在vgg16编码器的第四个卷积模块得到的特征图后分别连接两个卷积层构成第一阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第一阶段特征改善子网络输出一组尺寸为通道数为l的残差特征图；(6a2)建立第二阶段特征改善子网络：在vgg16编码器的第三个卷积模块得到的特征图后分别连接两个卷积层构成第二阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第二阶段特征改善子网络输出一组尺寸为通道数为l的残差特征图；(6a3)建立第三阶段特征改善子网络：在vgg16编码器的第一个卷积模块得到的特征图后分别连接两个卷积层构成第三阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第三阶段特征改善子网络输出一组尺寸为h×p、通道数为l的残差特征图。(6b)得到三阶段复原特征图：(6b1)将(5)得到的预测分数图进行上采样，再与第一阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为通道数为l的第一阶段复原特征图，即将分辨率恢复为原极化sar图像分辨率的1/256；(6b2)将第一阶段复原特征图进行上采样，再与第二阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为通道数为l的第二阶段复原特征图，即将分辨率恢复为原极化sar图像分辨率的1/64；(6b3)将第二阶段复原特征图进行上采样，再与第三阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为h×p，通道数为l的第三阶段复原特征图，即恢复为原极化sar图像的分辨率。通过(6a)-(6b)的操作构成解码器。步骤7，将步骤4得到的输入表示层和特征注意子网络、步骤5得到的vgg16编码器和步骤6得到的解码器进行依次连接，构成特征注意和特征改善网络，如图2所示。步骤8，对特征注意和特征改善网络进行训练。(8a1)选取极化sar图像i′的训练集，即从步骤3得到的每一类特征集合中分别随机选取m个像素的特征作为训练集；(8a2)设置特征注意和特征改善网络的训练参数如下：学习率为1e-4，权重衰减为5e-4，数据批次大小为1，迭代次数为400；(8a3)将(8a1)选取的训练集输入到特征注意和特征改善网络中，并通过(8a2)设置的参数对特征注意和特征改善网络进行训练，得到训练好的特征注意和特征改善网络。步骤9，将步骤3所得极化sar图像i′的新特征集合，输入到训练好的特征注意和特征改善网络中，得到原极化sar图像i的分类结果。以下通过仿真实验，对本发明的技术效果作进一步说明：1、仿真条件仿真软件环境为pycharm2017和python3.6。仿真使用的极化sar图像是用radarsat-2系统获取的旧金山地区c波段单视全极化sar图像，该全极化sar图像如图5所示，图像大小为1300×1300，该极化sar图像的真实地物标记如图6，图6中共有5类地物，分别为水、植被、低密度城区、高密度城区和待开发区。2、仿真内容用本发明方法和现有的基于栈式稀疏自编码器ssae的极化sar分类方法对上述全极化sar图像进行分类，结果如图7，其中图7(a)是利用本发明的方法对该极化sar图像进行分类得到的分类结果图，图7(b)是利用现有深度学习方法对该极化sar图像进行分类得到的分类结果图。计算上述两种方法在不同地物种类上的分类精度，结果如表1所示。表1.分类精度对比类别本发明ssae水99.9299.81植被99.4893.72低密度城区99.9092.95高密度城区99.6997.13待开发区100.0092.58总精度99.8197.433、仿真结果分析从图7可见，利用本发明的方法得到的分类结果图中每一类别的区域内一致性强，噪声很少，而对比方法得到的分类结果图中每一类别的区域内一致性较差，噪声较严重。从表1可见，本发明方法的总分类精度明显高于对比方法，且在不同地物种类上的分类精度也都高于对比方法。这表明本发明可以有效地解决极化sar图像分类问题，提升分类精度，增强区域内一致性。当前第1页12