一种基于多任务学习的多角度SAR目标识别方法与流程

本发明涉及一种基于多任务学习的多角度sar目标识别方法，属于合成孔径雷达自动目标识别
技术领域：
。
背景技术：
：合成孔径雷达(syntheticapertureradar，sar)是一种主动式微波传感器成像雷达，这种雷达利用一个小天线沿着长线阵的轨迹等速移动并辐射相参信号,把在不同位置接收的回波进行相干处理,从而获得较高分辨率的成像雷达。这种雷达可以不受太阳光照、雨雪等天气状况的影响，全天时、全天候的成像，且当其工作在合适的波长下可以穿透一些遮蔽物，正常成像，所成sar图像的分辨率不受其波长、雷达作用距离的影响。鉴于其所具有的这些优秀特性，合成孔径雷达被广泛地应用于国民经济的各个领域。由于合成孔径雷达的独特的成像机理，获得的sar图像不可避免的会存在一些斑点噪声，使其不同于易于人眼感知的光学图像，影响图像的读取和解译。传统的sar图像目标判读解译的方法主要是依靠研究学习过sar图像的特点并拥有经验的人来进行人工分析判断。然而不同的人具有不同的先验知识和评判标准，有时为了一定程度上消除主观误差还需要进行多人分析综合评判，成本高、效率低。故而探索高效而准确的sar自动目标识别技术(automatictargetrecognition，atr)成为国内外学者的研究热点。随着深度学习理论在计算机识别领域的发展，人们开始探索基于深度学习方法的新的sar目标识别方法，使用深度学习的方法来解决sar目标识别的问题。到目前为止，国内外学者们以卷积神经网络(convolutionalneuralnetwork,cnn)理论为基础提出了大量有效的sar目标识别算法，推动了sar-atr技术的不断发展。然而，虽然卷积神经网络能够高效的提取sar目标的层次特征，得到令人满意的识别效果，但是前提是需要大量的样本进行训练，在实际的应用过程中，通常难以获取到大量标注的样本数据。多任务学习作为机器学习领域比较有前景的一个领域，其关注点不在于单个任务，尽可能利用一切可以辅助优化度量指标的其他信息，通过共享相关任务之间的表征，可以更好的完成目标任务。近年来，基于多任务学习的研究已经涌现出了一批不错的成果，诸如人脸识别、脸部特征点检测以及目标检测等。本发明基于多任务学习(multi-tasklearning，ml)的方法，构建了两种学习任务用以提升神经网络对于sar目标特征的感知能力，一个是用以判断sar目标角度的角度估计辅助任务，一个是在角度估计基础上进行目标识别的主任务，最大限度地挖掘多角度sar遥感图像数据的潜力，精准的完成了大擦地角差异条件下sar目标的识别，并且进一步有效的提升了小样本情况下sar目标识别效率。技术实现要素：本发明的主要目的是最大限度地挖掘多角度sar遥感图像的数据潜力，解决有限数据集条件下训练样本和测试样本概率分布不一致的学习问题，解决大擦地角差异条件下的目标识别问题，提供一种基于多任务学习的方法，充分利用sar图像数据中的角度特征，实现小样本情况下的合成孔径雷达目标识别。多任务学习作为机器学习领域比较有前景的研究方向，其学习机制主要有两种，参数硬共享和参数软共享。本发明主要使用参数硬共享的学习机制，如图1所示，即共享角度估计和识别任务的隐藏层，保留特定任务的输出层，来提升网络特征提取层对于目标散射特征、方位敏感特征的提取能力，为主任务的学习提供了先验知识支撑。该方法所用的网络架构是he等人于2016年提出的更易于优化的深度残差学习框架，并且在两个堆叠的卷积层之间加入dropout层，用以缓解小样本数据集所带来的过拟合问题。本发明使用深度残差网络提取合成孔径雷达目标的深层次特征，包括以下步骤：步骤1、准备数据集：统一输入到网络的图像尺寸，划分训练集和测试集。1)使用卷积神经网络完成目标识别任务的第一步就是要对输入到网络的数据做统一的规范化处理。由sar图像与光学图像的成像机理不同，不可以简单地用池化的方式来统一图像的尺寸，所以首先要将图像裁剪到统一的尺寸大小。之后使数据集图像中的每个像素点的像素值都进行归一化处理，从而将图像的像素值压缩到0-1之间2)生成类别标签，准备对应任务的训练集和测试集。3)数据预处理。步骤2、构建基于多任务学习的网络框架。众所周知，随着网络结构的深度的增加，网络的性能在一定程度上会有所提升。但是在实际应用中，更深神经网络往往在训练过程中会出现梯度消失/爆炸、收敛速度慢等致命问题，尤其是在本身训练样本不足的情况下。于是本发明选择18层的残差网络作为主体网络结构，可以学习到可分性更强的高层抽象特征。本发明选择的网络模型比其他方法采用的网络模型更深，将层的学习变为学习关于该层输入的残差函数，而不是学习未参考的函数，显著的通过增加深度提升了准确性。残差函数的定义为y＝f(x,{wi})+x(1)其中x和y对应层的输入和输出向量，wi为主干支路上可训练的权值，函数f(x,{wi})表示需要学习的残差映射。具体实现方式即在网络中某一位置添加一条快捷连接(shortcutconnection),将前层的特征直接传递过来,这个新连接称为恒等映射(identitymapping)。使用快捷连接要保证输入和输出具有相同的维度。当我们在进行两种维度的跨越进行连接的时候，通过快捷连接来执行线性投影ws，来匹配维度，有两种方式可以进行，第一种，额外的进行填充零输入，增加维度；第二种方式，1x1卷积核，步长为2，输出可表示为y＝f(x,{wi})+wsx(2)模块中主干支路的映射关系f(·)由多个卷积层(convolutionlayer)构成，本方法在两个堆叠的卷积层之间引入了dropout层，并将保留概率设置为0.2，如图2所示。对每一层卷积层的输出都做批标准化处理(batchnormalization)和使用修正线性单元(rectifiedlinearunit,relu)来激活神经元。小样本情况下，在训练过程中非常容易出现的问题之一便是过拟合。本文使用hinton在其论文中提出的dropout来缓解过拟合。dropout是指在训练过程中，将一些隐含节点的权值以一定的概率暂时失效，从而降低网络节点之间的联合适应性，同时也降低了网络的计算复杂度，最终提高模型的泛化能力。bn层本质上是一个归一化网络层，通过对上一层卷积层的输出进行标准化处理来调整数据分布，再传入下个层，能够降低权值初始化的成本，从而加快了训练速度，这样就可以使用较大的学习率来训练网络。bn算法的伪代码如下表所示：其中m表示当前训练批次的大小；从上述伪代码的公式中不难看出，标准化后的数值服从高斯分布，其均值为0、方差为1，大部分的值落在非线性激活函数的线性区内，影响网络性能，造成网络性能的下降。故而bn层会对标准化后的值再进行一次扩展和平移修正，作用是自适应的调整标准化的强度。在本发明中，将γ设置为1，β设置为0。激活函数，是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。通过激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。relu作为一种常用的非线性激活函数，造就了网路的稀疏性，减少了参数的相互依存关系，缓解了过拟合问题的发生，并且因其所具有的较宽的兴奋边界能够加快训练速度。其表达式为：f(x)＝max(0,x)(3)即将所有小于0的输入变为0，而保留所有大于0的输入，这种操作被称为单侧抑制。共享层的所有卷积核的大小均为3*3，输入图像经过预处理后输入到一个卷积层来增加通道数，将卷积层的步长和填充也设置为1，即在进行卷积操作之前先为特征图的四周填充一圈0，从而使得卷积后特征图尺寸不变。之后网络的中间部分由四个结构相似的模块堆叠而成，每个模块包含两个图2所示的残差结构。在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，与此同时，需要将卷积核的个数设置为原来的2倍来增加输出的特征图数量。为了满足维度匹配原则，相应残差结构的shortcut支路上也需要进行一个步长为2的1×1卷积操作。除了每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射。每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍。共享网络结构的第4个模块的后面连接了一个全局平均池化(globalaveragepooling)层整合了全局空间信息，由于该层没有参数，防止了该层发生过拟合现象。网络的最后一层使用一个全连接层来实现分类，针对不同的任务设置其特有的参数。使用多分类问题中非常常用的softmax函数将输入映射为0-1指尖的是的实数，并且归一化保证和为1，从而可以得到样本属于每一个类别的概率值。softmax的表达式为：其中，zi表示向量z的第i个元素，k为z的整体维度，si为zi经过softmax层后的输出。步骤3、使用深度残差网络训练辅助任务的模型，保存预测效果最好的模型参数。步骤4、选取合适的优化函数和超参数，使用步骤2搭建好的网络构架，共享步骤3中网络参数，学习目标识别任务的全连接层。本发明使用adam优化器来优化模型，该优化器易于实现，计算高效，对内存需求少，且它的超参数具有很好的解释性，且通常无需调整或仅需很少的微调，默认使用作者推荐的一组参数值，即：lr＝0.001,beta1＝0.9,beta2＝0.999,epsilon＝1e-8；lr表示学习率(learningrate,lr)，beta1和beta2代表一阶矩估计和二阶矩估计的指数衰减率，epsilon表示一个非常小的数，设置该参数是为了防止出现除数为0的情况。在所述步骤(3)和(4)的训练中，本发明借鉴wen等人在人脸识别任务中所使用的联合损失函数，与上述提到的用于多分类问题中的softmaxloss函数配合使用，共同监督训练，使得训练后的模型在小样本情况下具有更加强大的泛化能力。这个损失函数不仅要求网络对各种类别进行正确的分类，而且要求类内样本的距离较小，使得类间的距离变大。函数定义如下：l＝lc+λlc(7)ls表示的是softmaxloss，lc表示centerloss，λ是一个平衡两个损失的影响的标量，通常设定在0.1-0.0001之间，l表示网络所使用的组合损失函数；m为训练时一个批次中输入的训练样本的数量，k为样本的类别数，公式(7)中被求对数的值就是该样本所对应的正确类别的softmax值；xi代表输入全连接层的第i个样本的特征，yi表示其真实标签，即真实类别；o对应于xi经过全连接层之后的输出，oj对应于输出o的第j维，表示对应于第j类的输出；oyi对应于输出o的第yi维，且代表着属于真实类别的输出；cyi表示属于第yi类的特征xi的特征中心，cyi是能够被训练和优化的。对于centerloss中所涉及的每类特征点的中心位置本，使用了随机梯度下降(stochasticgradientdescent,sgd)算法来优化，此处的学习率通常设置在0-1之间。图4展示了在组合损失函数监督下的网络的整体结构。网络初始化是一件很重要的事情，但是固定方差的高斯分布初始化，在网络变深的时候，使得模型很难收敛。在所述步骤(3)中，本发明采用的是msra初始化方法，这是一个均值为0方差为2/n的高斯分布，n表示输入节点，其适用于非线性激活函数为relu的网络。对于网络中的偏置b，其初始值全部定义为0。附图说明图1为参数硬共享示意图。图2为残差块结构示意图。图3为基于多任务学习的网络结构图。图4为预处理前后数据对比图。图5为不同损失函数监督训练下高维特征的分布情况。图6为的识别精度对比曲线图。具体实施方式以下结合附图对本发明的实施过程和实验结果做进一步的描述。如图3所示为本发明的网络结构示意图，亦即本发明的实施过程的流程示意图，主要包含以下几个步骤：步骤1、数据集的准备及预处理操作。本发明所用数据是运动和静止目标的获取与识别(movingandstationarytargetacquisitionandrecognition，mstar)计划公开的mstar图像公共数据集的一部分。采集该数据的传感器为高分辨率的聚束式合成孔径雷达，该雷达的分辨率为0.3*0.3，工作在x波段，所用极化方式为hh极化。1)选择标准工作条件下(soc)的10类目标图像来训练角度估计的模型，目标的姿态覆盖范围均为0°～360°。训练集数据采集在17°成像侧视角下，测试集数据采集在15°侧视角下。由于mstar数据集包含目标的0-360°的方位角，将目标角度估计的任务作为辅助任务，充分利用sar图像数据中的角度特征。分别读取训练集和测试集中的方位角信息，以5°为间隔生成类别标签，即将问题转化成一个共72类的多分类问题，来实现角度估计任务，挖掘sar图像目标中所具有的角度信息。在处理训练集的图像时，首先对图像做中心裁剪操作，裁剪尺寸为70×70，再在其中随机取64×64的图像区域，作为网络的输入。这样提取出来的用作训练的目标就具有了位移的特性，而卷积神经网络所具有的平移不变性也得以发挥。测试集的图像则只做中心裁剪64×64的区域。在输入网络时，3次加载图像，将数据量扩充3倍，与随机裁剪操作配合使用，达到增加样本数据多样性的目的。之后再将数据集图像中的每个像素点的像素值都进行归一化处理，把图像的像素值压缩到0-1之间。2)而识别任务所用数据为扩展工作条件下(eoc)获取的4类地面目标，训练集的侧视角为17°，而测试集的侧视角为30°，如此大的侧视角差别可导致相同姿态的同一个目标呈现有较明显的区别表征，增加了识别的难度。统一对训练集和测试集的图像做中心裁剪，提取中心处64×64的区域。总结之前大量的实验经验，发现数据中2s1(自行榴弹炮)和t72(坦克)这两类目标容易混淆，难以区分，误判率比较高。为了增加这两类目标的辨识度，对输入到网络中的图像做预处理时，给其中一类(t72)做锐化滤波，如图4所示，该操作补充原图的边缘轮廓信息，增强图像的边缘及灰度跳变的部分，使图片更加清晰，使其在一定程度上的区别于2s1。步骤2、设计基于多任务学习的深度残差网络模型。针对研究目的和所用实验数据，共享的网络结构采用resnet-18，共享层的所有卷积核的大小均为3*3。把经过预处理后的图像(64×64×1)输入到第一层卷积层，该层卷积层包含16个尺寸为3×3的卷积核，此处的卷积操作设置padding为1，即在特征图四周填充一行(列)的零，然后在进行卷积运算，这样保证了经卷积层输出后的特征图的尺寸不变，而数量增加到16。之后网络的中间部分由四个结构相似的模块堆叠而成，每个模块包含两个图2所示的残差结构。在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，与此同时，需要将卷积核的个数设置为原来的2倍来增加输出的特征图数量，使其变为原来的2倍。为了满足维度匹配原则，相应残差结构的shortcut支路上也需要进行一个步长为2的1×1卷积操作。除了每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射。每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍。经上述四个模块输出之后的特征图的维度为8×8×256，然后通过一个全局平均池化层，其大小为8×8，来整合所有特征图的信息。共享网络层的参数设置如下表所示：对于特定的任务对应一个特定的完全连接层。由于mstar数据集包含目标的0-360°的方位角，可以将目标方位角度的估计的任务理解为以5°为间隔的72类的多分类问题，所以全连接层参数设置为(256，72)；对30°俯仰角下拍摄的目标识别问题可以简单的理解为4分类问题，设置全连接层参数为(256，4)。步骤3、使用深度残差网络训练角度估计任务的模型，保留结果最好的时刻时的模型参数。使用步骤1中准备好的用于角度估计任务的训练集和测试集，网络的最后接一个全连接层，输入为前边共享网络层对样本所提取到的256维特征，输出的维度为类别标签数72。完成数据集的准备和网络结构的架构的工作后，开始训练过程。将数据以批次(batch)的形式输入到网络中，在这里设置batchsize为32。完成一个批次的训练相当于完成了一次迭代(iteration)，当所有的训练数据都在网络中训练过一遍后即为完成一轮(epoch)迭代，这里设置epoch为150。每完成一轮迭代后会利用当前的模型参数对测试集进行一次测试，最终记录下最好的测试结果，并将测试结果最好时的网络模型保存下来。步骤4、选取合适的优化函数，使用步骤2搭建好的网络构架，共享步骤3中网络参数，学习目标识别任务的全连接层。使用步骤3中保留的网络模型及参数，只更改网络模型的输入和输出。输入数据使用的是步骤1中准备好的用于目标识别任务的训练集和测试集；网络的最后一层全连接层的输出的维度为目标类别数4类。将sar图像经过预处理后，即对第三类目标做锐化滤镜后，按批次输入到网络中开始训练，batchsize为32，epoch为200，每个epoch之后，训练数据的顺序将被打乱。把一个批次的数据输入进网络中，经过网络的前向传播后计算输出结果，使用组合损失函数计算实际结果与输出结果的损失，用来平衡两个损失函数的参数λ设置为0.01；通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重w和偏置b的梯度；最后再通过adam优化函数更新网络参数，利用优化函数sgd更新centerloss中类别的中心位置，设置学习率lr为0.5。优化函数adam的参数使用默认的设置为lr＝0.001,β1＝0.9,β2＝0.999,ε＝10-8，其中β1,β2为一阶矩估计和二阶矩估计的衰减率。ε是为了防止计算中出现除数为0的情况。到此完成一轮迭代，然后往复循环，这道完成所有迭代。而lr在[80,100]个epoch时衰减0.1。步骤5、结果验证。为了验证本文发明的方法能够实现对大俯仰角差下获取的目标有不错的识别效果，由下表可以看出对扩展条件下的数据的分类结果。为了看到不同监控信号下提取的特征的分布情况，我们在最后一层之前添加了两个节点的全连接层，将深度特征映射到二维。图5展示了在不同损失函数的监督下，同一网络结构提取的特征在所有训练数据下的分布情况。从图5(b)中可以清楚地看出，由于中心损失的影响，同一类特征之间的距离变得非常小。为了验证本文提出的方法在小样本情况下所能展现较好的识别性能，我们从每一类目标数据中分别随机选取80、60、40、30、20、10张图像作为训练样本，与单任务学习情况下的结果做对比，如表2所示。我们可以定量地分析得出使用多任务学习可以取得优于单任务学习的识别效果。样本数806040302010单任务0.9250000.9025000.8450000.845000.8200000.735000本文0.9425000.9175000.8650000.875000.8650000.785000为了定性而直观的分析，我们绘制了两种结果下的识别精度曲线图，如图6所示。显而易见，使用本文方法的收敛效果更好，分类结果更加稳定。通过全方面的定性分析和定量分析相结合，我们得出结论：将预先训练好的角度估计的深度学习模型与目标识别任务结合，高效而准确的完成了大俯仰角差下的识别任务，达到了99.73的识别精度；该方法充分利用了目前已有的mstar数据，最大限度地挖掘数据潜力，运用了sar目标本身所具有的角度特征，实现了小样本情况下的识别精度的提高，且保证了识别结果的稳定性。当前第1页12