一种基于学习超像素和QCNN的极化SAR地物识别方法与流程

本发明涉及雷达目标识别技术领域，具体涉及一种基于学习超像素和qcnn(quaternionconvolutionalneuralnetworks,四元数卷积神经网络)的极化sar地物识别方法。

背景技术：

全极化合成孔径雷达(polsar)能够记录地物目标完整的极化散射信息。由于电磁波极化对地物目标的形状、属性和物理结构都非常敏感，因此利用极化雷达信息可以大大提高地物目标的分类精度。

现有技术中，针对颜色空间，常见的卷积神经网络的每个卷积核仅仅只是将每个颜色通道的输出进行求和，忽略了通道之间的相互关系。另外简单的求和为卷积核的学习提供了较大的自由度，可能导致过拟合。

此外，极化雷达图像的分类算法可以分为两类：基于像素的方法和基于区域的方法。由于极化雷达图像不可避免地受到斑点噪声的影响，基于像素的分类方法多使用滤波器来做预处理。但是滤波器并不能完全滤除斑噪，同时还会改变纹理、小区域的形状等重要特性。基于区域的算法能够考虑局部区域像素点之间的关联性，与基于像素的分类方法相辅相成。通常，考虑局部区域像素的相关性，可以有效提升地物分类精度。超像素利用纹理、强度等信息将图像分成多个满足同质性和唯一性的不交叠区域，成为使用最广泛的基于区域分类算法的辅助方法。常用的超像素生成方法有，normalized-cuts(ncut)、meanshift、turbopixel、简单线性迭代聚类(simplelineariterationclustering,slic)等。部分研究人员利用极化和纹理信息，融合基于稀疏表示的分类器和超像素分类极化雷达图像。部分研究人员在pauli分解的基础上实现超像素分割，并用多层自编码网络预测像素的类别。部分研究人员结合改进的slic和深度置信网络(dbn)对极化雷达图像进行分类，从而实现基于像素和基于区域方法的融合。部分研究人员通过slic为极化雷达图像生成超像素，并使用具有输入金字塔的深度卷积神经网络对超像素进行分类。然而，上述方法中超像素分类方法多是基于统计特性，如果没有较强的边界用于判别，那么很难将各个目标加以分开。这样，超像素分割的效果有时会有较大误差，从而影响最后的地物分类精度。

综上所述，本发明公开了一种基于学习超像素和qcnn的极化sar地物识别方法，基于极化sar伪彩色图像，运用四元数卷积神经网络学习颜色特征并进行分类。不同于现有技术中卷积神经网络独立处理每个颜色通道，最后简单累加各通道的特征。四元数卷积神经网络将伪彩色图像的三个颜色通道构造为四元数矩阵，以此作为网络的输入，从而充分考虑颜色通道时间的相互作用，提高了像素级的极化sar图像地物分类效果。通过像素仿射实现了基于深度卷积网络的极化雷达伪彩色图像的超像素生成，这是一种监督的基于深度学习的极化sar图像超像素生成方法。该方法利用了颜色空间中的高层语义特征，能够得到比传统的超像素生成方法更好的局部区域分割。结合四元数卷积神经网络像素级分类和pan超像素分割区域，得到了基于颜色特征的高精度极化sar图像地物分类效果。

技术实现要素：

针对上述现有技术的不足，本发明公开了一种基于学习超像素和qcnn的极化sar地物识别方法，基于极化sar伪彩色图像，运用四元数卷积神经网络学习颜色特征并进行分类。不同于现有技术中卷积神经网络独立处理每个颜色通道，最后简单累加各通道的特征。四元数卷积神经网络将伪彩色图像的三个颜色通道构造为四元数矩阵，以此作为网络的输入，从而充分考虑颜色通道时间的相互作用，提高了像素级的极化sar图像地物分类效果。通过像素仿射实现了基于深度卷积网络的极化雷达伪彩色图像的超像素生成，这是一种监督的基于深度学习的极化sar图像超像素生成方法。该方法利用了颜色空间中的高层语义特征，能够得到比传统的超像素生成方法更好的局部区域分割。结合四元数卷积神经网络像素级分类和pan超像素分割区域，得到了基于颜色特征的高精度极化sar图像地物分类效果。

本发明采用了如下的技术方案：

一种基于学习超像素和qcnn的极化sar地物识别方法，包括：

s1、获取极化雷达数据；

s2、将所述极化雷达数据进行极化分解得到极化雷达伪彩色图像；

s3、基于像素的四元数卷积神经网络将所述极化雷达伪彩色图像分类得到分类结果；

s4、基于所述极化雷达伪彩色图像利用pan网络生成多个超像素块；

s5、基于所述极化雷达伪彩色图像的分类结果及超像素块生成所述极化雷达数据的分类结果。

优选地，步骤s2中：

从极化雷达数据中获取散射矩阵s，sbd表示复散射系数，bd∈(hh,hv,vh,vv)；

基于以下公式利用pauli分解将散射矩阵s分解为各pauli矩阵的复数形式的加权和：

得到每个颜色分量：

|a|²、|b|²及|c|²分别对应于b、r及g三个颜色通道，由这三个颜色通道合成极化雷达伪彩色图像。

优选地，步骤s3中：

将r、g及b三个颜色通道的极化雷达伪彩色图像转换为四元数矩阵i,j,k表示虚部单位；

将四元数矩阵输入qcnn网络进行分类得到分类结果。

优选地，步骤s5中：

对于每一个超像素块，统计所述超像素块中的像素点的总个数t，统计所述超像素块中属于每一个类别的像素点的个数，按降序排列为num_1,num_2,...,num_c，c为类别数；

记录num_1和num_2对应的类别labelnum_1和labelnum_2；

若num_1≥t×d，将labelnum_1作为所述超像素块的类别，d为门限值，否则，执行如下步骤：

计算所述超像素块的每个颜色通道的强度均值mean_(i)，并计算类别l所对应的每个颜色通道的强度均值mean(i,l)。最后计算超像素块每个颜色通道的强度均值与类别l所对应的颜色通道的强度均值差异之和m(l)，

其中，i表示单个颜色通道的强度，l∈{labelnum_1,labelnum_2}，若m(labelnum_1)≥m(labelnum_2)，将labelnum_2作为所述超像素块的类别，否则将labelnum_1作为该超像素块的类别；

计算所有超像素块的类别得到所述极化雷达数据的分类结果。

综上所述，本发明公开了一种基于学习超像素和qcnn的极化sar地物识别方法，包括：s1、获取极化雷达数据；s2、将所述极化雷达数据进行极化分解得到极化雷达伪彩色图像；s3、基于像素的四元数卷积神经网络将所述极化雷达伪彩色图像分类得到分类结果；s4、基于所述极化雷达伪彩色图像利用pan网络生成多个超像素块；s5、基于所述极化雷达伪彩色图像的分类结果及超像素块生成所述极化雷达数据的分类结果。本发明基于极化sar伪彩色图像，运用四元数卷积神经网络学习颜色特征并进行分类。不同于现有技术中卷积神经网络独立处理每个颜色通道，最后简单累加各通道的特征。四元数卷积神经网络将伪彩色图像的三个颜色通道构造为四元数矩阵，以此作为网络的输入，从而充分考虑颜色通道时间的相互作用，提高了像素级的极化sar图像地物分类效果。通过像素仿射实现了基于深度卷积网络的极化雷达伪彩色图像的超像素生成，这是一种监督的基于深度学习的极化sar图像超像素生成方法。该方法利用了颜色空间中的高层语义特征，能够得到比传统的超像素生成方法更好的局部区域分割。结合四元数卷积神经网络像素级分类和pan超像素分割区域，得到了基于颜色特征的高精度极化sar图像地物分类效果。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明实现的流程图；

图2为在四元数矩阵下，用于分类的qcnn模型示意图；

图3为极化sar伪彩色图像下，生成超像素使用的pan模型示意图；

图4(a)至图4(f)为在三个极化sar数据集下，三种方法在不同超像素个数下的分割性能比较示意图；

图5(a)，图5(b)，图5(c)为在flevoland数据、sanfrancisco数据及oberpfaffenhofen数据下，cnn与qcnn分类结果比较。

图6(a)至图6(f)，图7(a)至图7(c)，以及图8(a)至图8(f)为qcnn融合三种不同的超像素生成方法的分类结果比较。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明公开了一种基于学习超像素和qcnn的极化sar地物识别方法，包括：

s1、获取极化雷达数据；

s2、将所述极化雷达数据进行极化分解得到极化雷达伪彩色图像；

s3、基于像素的四元数卷积神经网络将所述极化雷达伪彩色图像分类得到分类结果；

s4、基于所述极化雷达伪彩色图像利用pan网络生成多个超像素块；

基于极化分解得到的伪彩色图像，使用pan网络可生成极化sar超像素。pan网络用于输出两个像素仿射图，一个水平方向，一个垂直方向。在第一层中，1×7卷积核(128个通道)用于捕获极化雷达伪彩色图像中的水平变化。要捕获垂直变化，我们只需要沿垂直轴旋转输入图像。在第一层之后有三个具有128个通道的残余块(resblock)，这些残差块使得网更容易优化。由大小1×1的卷积核(1个通道)预测的中间仿射图与由canny检测算子计算的边缘图连接。边缘图已被证明有助于定位边界。然后这个连接图被传输给两个1×1卷积核(分别为8个通道和1个通道)。在这两个卷积层之后，使用sigmoid激活将像素仿射值限制为0-1。在除最后一个卷积层以外得其他卷积层后面使用relu函数进行激活。在网络训练阶段，我们将pan网络输出的垂直和水平两个方向的仿射图传入修改的熵率超像素生成算法中，获得超像素分割图。结合地面真实分割图和上述仿射图，超像素分割图，训练pan网络。

s5、基于所述极化雷达伪彩色图像的分类结果及超像素块生成所述极化雷达数据的分类结果。

针对极化sar分类正确率不高，分类性能受斑点噪声影响严重的情况，本发明提出了一种基于学习超像素和qcnn的极化sar地物识别方法。与现有技术相比，本发明的技术效果如下：

基于极化伪彩色图像，运用四元数卷积神经网络学习颜色特征并进行分类。不同于卷积神经网络独立处理每个颜色通道，最后简单累加各通道的特征。四元数卷积神经网络将伪彩色图像的三个颜色通道构造为四元数矩阵，以此作为网络的输入，从而充分考虑颜色通道时间的相互作用，提高了像素级的极化雷达图像地物分类效果。

通过像素仿射实现了基于深度卷积网络的极化雷达伪彩色图像的超像素生成，这是一种监督的基于深度学习的极化雷达图像超像素生成方法。该方法利用了颜色空间中的高层语义特征，能够得到比传统超像素生成方法更好的局部区域分割。

结合四元数卷积神经网络像素级分类和pan超像素分割区域，得到了基于颜色特征的高精度极化雷达图像地物分类效果。

具体实施时，步骤s2中：

从极化雷达数据中获取散射矩阵s，sbd表示复散射系数，bd∈(hh,hv,vh,vv)；

基于以下公式利用pauli分解将散射矩阵s分解为各pauli矩阵的复数形式的加权和：

得到每个颜色分量：

|a|²、|b|²及|c|²分别对应于b、r及g三个颜色通道，由这三个颜色通道合成极化雷达伪彩色图像。

散射矩阵是一种表达极化雷达数据散射信息的简单方式，该矩阵包含了所有的极化信息。这种极化信息反映了入射场矢量与散射场矢量的相互作用关系。s的对角元素是同极化项，反对角元素是交叉极化项。在入射天线与接受天线可以相互交换和入射波在同质介质中传播的情况下，有shv＝svh。

具体实施时，步骤s3中：

将r、g及b三个颜色通道的极化雷达伪彩色图像转换为四元数矩阵i,j,k表示虚部单位；

将四元数矩阵输入qcnn网络进行分类得到分类结果。

本发明中，qcnn网络包括两个四元数卷积块,第一个四元数卷积块由一个大小为3×3，通道为32的四元数卷积核与一个大小2×2的最大池化层组成。第二个四元数卷积块的结构与第一个四元数卷积块相同，只是四元数卷积核的输出通道变为64。每一个卷积层之后均使用relu进行激活。四元数卷积块之后，跟随一个四元数全连接层，该层通道数为512。网络末尾，连接着一个实值全连接层，将通道数转换为类别数目大小。

对于某一个位置(x,y)上的像素点，可以将它对应的三个颜色通道值转换为一个四元数这里的r,g,b代表该像素点对应的r、g、b颜色值，i,j,k表示虚部单位，满足i²＝j²＝k²＝ijk＝-1。通过上述的方式，我们可以将每一个像素点处的三颜色通道值都转换为一个四元数,从而得到四元数矩阵

四元数卷积核为四元数卷积操作为其中，四元数卷积核的元素表示为：

其中，θll'∈[-π,+π]，表示旋转角。rll'∈r,表示旋转轴。根据旋转的定义，四元数卷积操作定义为：

其中：

“*”表示四元数共轭，例如四元数则它的共轭

从上式中可以看出，四元数卷积是对四元数进行一系列旋转和缩放，这帮助四元数卷积网络学习得到更多颜色的结构性表达，从而找到颜色空间的最佳表达。

qcnn网络全连接操作为：这里表示n维四元数输入矢量；表示m个1维四元数滤波核；sn是大小。

在此，可以初步获得每一个像素点的类别。

具体实施时，步骤s5中：

对于每一个超像素块，统计所述超像素块中的像素点的总个数t，统计所述超像素块中属于每一个类别的像素点的个数，按降序排列为num_1,num_2,...,num_c，c为类别数；

记录num_1和num_2对应的类别labelnum_1和labelnum_2；

若num_1≥t×d，将labelnum_1作为所述超像素块的类别，d为门限值，否则，执行如下步骤：

计算所述超像素块的每个颜色通道的强度均值mean_(i)，并计算类别l所对应的每个颜色通道的强度均值mean(i,l)。最后计算超像素块每个颜色通道的强度均值与类别l所对应的颜色通道的强度均值差异之和m(l)，

其中，i表示单个颜色通道的强度，l∈{labelnum_1,labelnum_2}，若m(labelnum_1)≥m(labelnum_2)，将labelnum_2作为所述超像素块的类别，否则将labelnum_1作为该超像素块的类别；

计算所有超像素块的类别得到所述极化雷达数据的分类结果。

一个超像素块的类别往往产生在类别数最多和次多的两个类别中，因此，对于每一个类别，分别计算r、g、b三个通道的强度均值mean(i,l)，i表示单个通道的强度，l∈labels。labels表示极化雷达数据的类别数。

在本发明中，对每一个类别，我们随机抽取10％的数据计算它们所对应的三个通道的强度均值；对于每个颜色通道，我们将选取的样本强度值叠加起来，然后除以样本总数，就得到单个通道的强度。其中，每个样本的单个通道的强度值，就是其对应的颜色值。这里mean_(i)表示的是任意一个通道的强度均值。

本发明所提出的一种基于学习超像素和qcnn的极化sar地物识别方法如图2所示。首先，对极化sar数据进行极化目标分解，合成伪彩色图像。然后，使用pan对伪彩色图像进行超像素分割，如图2。其次，将伪彩色图像转换为四元数矩阵，使用qcnn网络获得基于像素的分类结果图，如图3。最后，融合超像素结果与基于像素的分类结果。

图4给出了在三种极化sar数据上，使用三种不同的超像素生成算法获得性能评价指标。从图可以看到，slic与seeds算法为常用的极化sar超像素算法，这类算法均值基于统计特性。然而，本发明使用pan网络，即采用深度学习的思想来提取分割感知的特征，基于这些特征来生成超像素。这样获得超像素比slic，seeds等方法获得的效果更好。

图5给出了在三种极化sar数据上，采用cnn和qcnn得到的分类结果直方图。cnn对彩色图像的颜色通道单独卷积，然后叠加卷积结果，这样做没有考虑颜色通道之间的相互作用。qcnn将颜色通道先转换为四元数矩阵，然后以四元数矩阵最为网络的输入，这样充分考虑了颜色通道之间的相互作用关系，学习得到更具有表达能力的特征。从该图也可以看到，qcnn获得整体分类正确率高于cnn，并且大部分类别的分类正确率也高于cnn。

图6至图8给出了在三种极化sar数据上，qcnn分别联合三种超像素算法获得的分类结果图。从图中可以看出，qcnn与pan(qpan)融合后获得分类效果优于qcnn与slic(qslic)、qcnn与seeds(qseeds)融合的结果。尤其是对于极化sar图像中一些狭长的地形，qpan能够准确地对其进行分类。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。