基于轮廓波FCN‑CRF的SAR图像分类方法与流程

本发明属于图像处理
技术领域：
，更进一步涉及图像分类
技术领域：
中一种基于轮廓波全卷积网络fcn(fullyconvolutionalnetworks)-条件随机场crf(conditionalrandomfield)的合成孔径雷达sar(syntheticapertureradar)图像分类方法。本发明可用于对合成孔径雷达sar(syntheticapertureradar)图像的地物分类和目标识别。
背景技术：
：合成孔径雷达sar(syntheticapertureradar)是近年来得到广泛研究和应用的一种遥感传感器，和光学、红外等其它传感器相比，合成孔径雷达成像不受天气、光照等条件的限制，可以对感兴趣的目标进行全天候、全天时的侦查。合成孔径雷达sar(syntheticapertureradar)图像分类是合成孔径雷达sar(syntheticapertureradar)图像解译的重要研究内容，分类图既可作中间结果为边缘提取、目标检测、识别等提供辅助信息，也可作为最终结果直接输出给用户。它在民用和军用领域均有着巨大的应用价值和理论意义。近年来，很多合成孔径雷达sar(syntheticapertureradar)图像分类的方法被提取出来，这些方法的基本原理都是根据给定图像的像素自身属性以及它与邻域像素的相关性，赋予每个像素一个类标，并将具有相同特性的所有像素聚集起来以辨别出像素所属的类别，实现对合成孔径雷达sar(syntheticapertureradar)图像场景中的地物目标进行分类。经典的合成孔径雷达sar(syntheticapertureradar)图像分类方法包括：武汉大学在其申请的专利文献“基于中层语义属性和卷积神经网络的sar图像分类方法”(专利申请号：201610860930.3，公开号：cn106408030a)中提出了一种基于中层语义属性和卷积神经网络的合成孔径雷达sar(syntheticapertureradar)图像分类方法。该方法首先对待分类的合成孔径雷达sar(syntheticapertureradar)图像进行中层语义属性特征图像块的提取，然后利用所有待分类合成孔径雷达sar(syntheticapertureradar)图像的属性训练卷积神经网络，再将图像的全局特征和每个属性的卷积神经网络特征串联，生成最终特征，最后用支持向量机对提取的最终特征进行分类。该方法虽然结合了中层语义特征和卷积神经网络，解决了训练数据少的问题，但是，仍然存在的不足之处是，没有考虑高分辨合成孔径雷达sar(syntheticapertureradar)图像多尺度、多方向、多分辨的特性，导致特征提取的不合理，影响图像分割的稳定性，导致分类精度下降。西安电子科技大学在其申请的专利文献“基于分层稀疏滤波卷积神经网络的sar图像分类方法”(专利申请号：201510497374.3，公开号：cn105139028a)中提出了一种基于分层稀疏滤波卷积神经网络的合成孔径雷达sar(syntheticapertureradar)图像分类方法。这种方法首先划分合成孔径雷达sar(syntheticapertureradar)数据库样本为训练数据集和测试样本集，再从训练数据集学习第一层稀疏字典，提取第一层稀疏特征图并进行非线性变换，然后从第一层非线性变换特征图学习第二层稀疏字典，提取第二层稀疏特征图并进行非线性变换，级联第一，二层非线性变换特征训练支持向量机svm(supportvectormachine)分类器，最后利用第一，二层稀疏字典抽取测试集的稀疏特征，用支持向量机svm(supportvectormachine)分类器进行分类。该方法虽然通过逐层无监督的训练获得了适应合成孔径雷达sar(syntheticapertureradar)图像特征分布的稀疏滤波器，能够很好的克服相干斑噪声的影响，但是，仍然存在的不足之处是，该方法对待分类的合成孔径雷达sar(syntheticapertureradar)图像信息的丰富性要求高，待处理的高维数据具有无关性和冗余性，计算量大，实现过程复杂。技术实现要素：本发明的目的是克服上述现有技术的不足，提供一种基于轮廓波全卷积网络fcn(fullyconvolutionalnetworks)-条件随机场crf(conditionalrandomfield)的合成孔径雷达sar(syntheticapertureradar)图像分类方法。本发明与现有技术中其他合成孔径雷达sar(syntheticapertureradar)图像分类技术相比计算量小，分类精度和分类效率高。本发明实现上述目的的思路是：先对待分类的高分辨合成孔径雷达sar(syntheticapertureradar)图像进行3层非下采样轮廓波变换，得到低频系数和高频系数，再融合低频系数和高频系数，构成基于像素点的特征矩阵，将特征矩阵中的像素值归一化到[0，1]，得到归一化后的特征矩阵，然后对归一化后的特征矩阵切块处理，将图像块特征扩展成像素级特征，构成样本数据集，从样本数据集中随机选取5％的样本构建训练数据集的特征矩阵，用剩余95％的样本构建测试数据集的特征矩阵，最后利用全卷积网络fcn-条件随机场crf的分类模型进行分类，得到最终分类结果。本发明实现的具体步骤包括如下：(1)获得低频系数和高频系数：输入一通道的待分类的高分辨sar图像，对所输入的一通道的高分辨sar图像进行3层非下采样轮廓波变换，得到1个低频系数和11个高频系数；(2)构建特征矩阵：融合低频系数和高频系数，构成基于像素点的特征矩阵；(3)归一化特征矩阵：利用最大最小值方法，将基于像素点的特征矩阵中的像素值归一化到[0，1]，得到归一化后的特征矩阵；(4)构建样本数据集：采用窗口大小为128*128，间隔为50的滤波器，对归一化后的特征矩阵切块处理，得到切割后所有的基于像素的特征矩阵块，构成样本数据集；(5)选取样本：从样本数据集中随机选取5％的样本构建训练数据集的特征矩阵，用剩余95％的样本构建测试数据集的特征矩阵；(6)构建全卷积网络fcn-条件随机场crf的分类模型：选择一个依次由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→丢弃dropout层→卷积层→丢弃dropout层→卷积层→上采样层→裁剪crop层→分割splitting层→条件随机场crf层→分类器softmax组成的19层深度神经网络；(7)设定分类模型各层的参数：将第1层输入层的特征映射图的总数设置为3个像素；将第2层卷积层的特征映射图的总数设置为32个像素，卷积核的长宽设置为5×5个像素；将第3层池化层的下采样的尺寸设置为2个像素；将第4层卷积层的特征映射图的总数设置为64个像素，卷积核的大小设置为5×5个像素；将第5层池化层的下采样的尺寸设置为2个像素；将第6层卷积层的特征映射图的总数设置为96个像素，卷积核的大小设置为3×3个像素；将第7层池化层的下采样的尺寸设置为2个像素；将第8层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为3×3个像素；将第9层池化层的下采样的尺寸为2个像素；将第10层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为3×3个像素；将第11层丢弃dropout层的稀疏系数设置为0.5个像素；将第12层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为1×1个像素；将第13层丢弃dropout层的稀疏系数设置为0.5个像素；将第14层卷积层的特征映射图的总数设置为2个像素，卷积核的大小设置为1×1个像素；将第15层上采样层的征映射图的总数设置为2个像素，卷积核的大小设置为32×32个像素；将第16层裁剪crop层的最终裁剪大小设置为32×32个像素；将第17层分割splitting层的分离数设置为2个像素；将第18层条件随机场crf层的特征映射图的总数设置为64个像素；将第19层分类器softmax的特征映射图的总数设置为2个像素；(8)利用分类模型进行分类：(8a)将训练数据集的特征矩阵输入设置好参数的分类模型进行训练，得到训练好的分类模型；(8b)将测试数据集的特征矩阵输入训练好的分类模型，得到最终的分类结果；(9)输出分类结果。本发明与现有技术相比具有以下优点：第一，由于本发明通过引入3层非下采样轮廓波变换，考虑了高分辨合成孔径雷达sar(syntheticapertureradar)图像多尺度、多方向、多分辨的特性，克服了现有技术中由于没有充分考虑数据特性而造成的分类精度的下降的不足，使得本发明具有对待分类的高分辨合成孔径雷达sar图像达到高精度逼近的优点，进而提高了分类精度。第二，由于本发明通过引入全卷积网络fcn-条件随机场crf的分类模型，对训练样本集和测试样本集进行特征提取，克服了现有技术中特征提取不合理而造成的无关性和冗余性的不足，使得本发明在对高分辨合成孔径雷达sar图像进行分类时提高了分类效率。第三，由于本发明在构建样本数据集时，将图像块特征扩展成像素级特征，克服了现有技术中由于使用像素块而带来的重复存储和计算卷积的问题，使得本发明在对合成孔径雷达sar图像进行分类时减少了计算量。附图说明图1是本发明的流程图；图2是本发明中对待分类图像的人工标记图；图3是用本发明对待分类图像的分类结果图。具体实施方式下面结合附图对本发明做进一步的描述。参照图1，对本发明实现的具体步骤描述如下。步骤1，获得低频系数和高频系数。输入待分类的高分辨sar图像，对该图像进行3层非下采样轮廓波变换，得到低频系数和高频系数。所述的3层非下采样轮廓波变换的步骤如下。第1步，对一通道的待分类的高分辨sar图像进行3级非下采样金字塔nsp变换，在时频二维平面上，将一通道的待分类的高分辨sar图像，依次经过低通分析滤波和隔行隔列下采样，产生1个低频系数。第2步，低频子带依次经过上采样和二维低通合成滤波后，形成与一通道的待分类的高分辨sar图像尺寸相同的低频分量，用一通道的待分类的高分辨sar图像中的所有的像素点的值减去低频分量，得到高频分量，形成高频子带。第3步，对高频子带经过方向滤波器组进行图像的0、1、3级多方向分解，依次经过一个双通道滤波器，分别获得与0、1、3级对应的1、2、8带通子图像的11个高频系数。步骤2，构建特征矩阵。融合低频系数和高频系数，构成基于像素点的特征矩阵。所述构建特征矩阵的步骤如下。第1步，对带通子图像的11个系数值按照从大到小进行排序，从中选取最大的系数，形成与一通道的待分类的高分辨sar图像尺寸相同的带通分量，依次与低频系数加权取平均值，将所得的平均值作为分类特征。第2步，定义一个大小为m1×m2×t的特征矩阵，将分类特征赋给特征矩阵，其中m1表示一通道的待分类sar图像的长，m2表示一通道的待分类sar图像的宽，t表示一通道的待分类sar图像的通道数。步骤3，归一化特征矩阵。利用最大最小值方法，将基于像素点的特征矩阵中的像素值归一化到[0，1]，得到归一化后的特征矩阵。所述最大最小值方法的步骤如下。第1步，对基于像素点的特征矩阵中所有像素点的值，按照从大到小进行排序，从中提取最大值和最小值，用最大值减去最小值作为基数。第2步，将基于像素点的特征矩阵中的所有像素点的值，减去最小值的差除以基数，得到归一化后的特征矩阵。步骤4，构建样本数据集。采用窗口大小为128*128，间隔为50的滤波器，对归一化后的特征矩阵切块处理，得到切割后所有的基于像素的特征矩阵块，构成样本数据集。步骤5，选取样本。从样本数据集中随机选取5％的样本构建训练数据集的特征矩阵，用剩余95％的样本构建测试数据集的特征矩阵。所述构建训练数据集的特征矩阵的步骤如下。第1步，将一通道的待分类的高分辨sar图像地物分为3类，记录每个类别对应的像素点在该一通道的待分类的高分辨sar图像中的位置，生成3种对应不同类地物像素点的位置a1、a2、a3，其中a1对应第1类地物像素点在一通道的待分类的高分辨sar图像中的位置，a2对应第2类地物像素点在一通道的待分类的高分辨sar图像中的位置，a3对应第3类地物像素点在一通道的待分类的高分辨sar图像中的位置。第2步，从a1、a2、a3中随机选取5％的元素，生成3种对应不同类地物被选作训练数据集的像素点的位置b1、b2、b3，其中b1为对应第1类地物中被选作训练数据集的像素点在一通道的待分类的高分辨sar图像中的位置，b2为对应第2类地物中被选作训练数据集的像素点在一通道的待分类的高分辨sar图像中的位置，b3为对应第3类地物中被选作训练数据集的像素点在一通道的待分类的高分辨sar图像中的位置，并将b1、b2、b3中的元素合并组成训练数据集的所有像素点在一通道的待分类的高分辨sar图像中的位置l1。第3步，用a1、a2、a3中其余95％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置c1、c2、c3，其中c1为对应第1类地物中被选作测试数据集的像素点在一通道的待分类的高分辨sar图像中的位置，c2为对应第2类地物中被选作测试数据集的像素点在一通道的待分类的高分辨sar图像中的位置，c3为对应第3类地物中被选作测试数据集的像素点在一通道的待分类的高分辨sar图像中的位置，并将c1、c2、c3中的元素合并组成测试数据集的所有像素点在一通道的待分类的高分辨sar图像中的位置l2。第4步，定义训练数据集的特征矩阵，在样本数据集中依据l1取对应位置上的值，并赋值给训练数据集的特征矩阵。步骤6，构建全卷积网络fcn-条件随机场crf的分类模型。选择一个依次由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→丢弃dropout层→卷积层→丢弃dropout层→卷积层→上采样层→裁剪crop层→分割splitting层→条件随机场crf层→分类器softmax组成的19层深度神经网络。步骤7，设定分类模型各层的参数。将第1层输入层的特征映射图的总数设置为3个像素。将第2层卷积层的特征映射图的总数设置为32个像素，卷积核的长宽设置为5×5个像素。将第3层池化层的下采样的尺寸设置为2个像素。将第4层卷积层的特征映射图的总数设置为64个像素，卷积核的大小设置为5×5个像素。将第5层池化层的下采样的尺寸设置为2个像素。将第6层卷积层的特征映射图的总数设置为96个像素，卷积核的大小设置为3×3个像素。将第7层池化层的下采样的尺寸设置为2个像素。将第8层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为3×3个像素。将第9层池化层的下采样的尺寸为2个像素。将第10层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为3×3个像素。将第11层丢弃dropout层的稀疏系数设置为0.5个像素。将第12层卷积层的特征映射图的总数设置为128个像素，卷积核的大小设置为1×1个像素。将第13层丢弃dropout层的稀疏系数设置为0.5个像素。将第14层卷积层的特征映射图的总数设置为2个像素，卷积核的大小设置为1×1个像素。将第15层上采样层的征映射图的总数设置为2个像素，卷积核的大小设置为32×32个像素。将第16层裁剪crop层的最终裁剪大小设置为32×32个像素。将第17层分割splitting层的分离数设置为2个像素。将第18层条件随机场crf层的特征映射图的总数设置为64个像素。将第19层分类器softmax的特征映射图的总数设置为2个像素。步骤8，利用分类模型进行分类。将训练数据集的特征矩阵输入设置好参数的分类模型进行训练，得到训练好的分类模型。将测试数据集的特征矩阵输入训练好的分类模型，得到最终的分类结果。步骤9，输出分类结果。本发明的效果可以通过以下仿真实验进一步说明：1.仿真条件：本发明仿真实验的硬件平台为：intel(r)xeon(r)cpue5-2630，2.40ghz*16，内存为64g。本发明仿真实验的软件平台为：caffe。2.仿真内容与结果：利用本发明方法在上述仿真条件下进行实验，仿真图像如图2所示，图2是经由人工标记后的待分类的合成孔径雷达sar(syntheticapertureradar)图像，分辨率为1m，图像大小为6187*4278，标记图中红色区域为居民区，绿色区域为农田区，黄色区域为森林区，黑色区域为背景。本发明方法分别从合成孔径雷达sar(syntheticapertureradar)数据中随机选取5％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图3的分类结果。对比图2可以看出：检测结果的区域一致性较好，城区目标的边缘也非常清晰，且保持了细节信息。表1全卷积神经网络与本发明目标检测精度对比一览表训练样本所占比例全卷积神经网络本发明5％95.1360％95.4660％4％95.0024％95.3724％3％94.3117％94.8417％2％93.7362％94.4162％依次将训练样本减少到4％、3％、2％进行多组实验，将本发明与全卷积神经网络的测试数据集检测精度进行对比，结果如上表1所示：从表1可见，训练样本占样本总数的5％、4％、3％、2％时，本发明的测试数据集检测精度均高于全卷积神经网络。综上所述，本发明通过在全卷积神经网络中引入了条件随机场crf(conditionalrandomfield)，且加入了非下采样轮廓波变换，考虑了合成孔径雷达sar(syntheticapertureradar)图像的方向信息和空间信息，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度。当前第1页12