基于卷积循环网络的SAR序列图像目标识别方法与流程

本发明属于图像处理
技术领域：
，更进一步涉及目标识别
技术领域：
中的一种基于卷积循环网络的合成孔径雷达sar(syntheticapertureradar)目标识别方法。本发明针对合成孔径雷达sar序列图像，提出一种卷积循环网络结构，该结构采用深度卷积网络提取单张图像的特征，并用长期循环网络提取序列图像的变化特征，从而实现基于合成孔径雷达sar序列图像的自动目标识别，并有效的提高了合成孔径雷达sar序列图像目标识别精度。
背景技术：
合成孔径雷达sar具有全天候、全天时、高分辨等特性，被广泛应用于军事侦察、战场感知和地理信息采集等领域。自动目标识别atr(automatictargetrecognition)是基于计算机系统，从传感器获取数据，提取特征，自动给出目标类别属性的算法。近年来，基于合成孔径雷达sar图像的自动目标识别atr技术不断发展，在雷达目标识别研究中受到广泛关注。目前关于合成孔径雷达sar图像目标识别方面的论文专利非常多，从采取的技术路线来看，可以分为三种：模板匹配，基于模型的方法，基于机器学习的方法。模板匹配的方法依赖于人工设计的特征提取器，将目标中提取的特征和事先存储的模板进行比对，得出最佳匹配的分类结果。模板匹配简单易行，但对变化目标的适应性较弱。基于模型的方法利用目标先验构建目标的物理或电磁仿真模型，并与输入的图像进行比较，增强了对目标变体分类的灵活性和适应性。机器学习的方法从训练数据中提取人工设计的特征，并得到预测的结果，将预测输出和正确类别对比得到误差函数，误差函数指导特征提取和分类器的学习，从而在测试数据上得到稳健的分类结果。这些方法尽管在合成孔径雷达sar图像分类中取得了较好的识别结果，但其需要人工设计的特征提取器，因此限制了其在不同环境下的广泛应用。北京航空航天大学在其申请的专利文献“一种基于深度神经网络的多视sar图像目标识别方法”(公开号：cn105512680a，申请号：201510873282.0)中公开了一种基于卷积自编码器cae(convolutionalautomaticencoder)和循环神经网络rnn(recurrentneuralnetwork)的序列合成孔径雷达sar自动目标识别atr方法。该方法的具体步骤为：首先将合成孔径雷达sar图像通过卷积自编码器cae进行无监督训练提取原始图像的特征，然后利用上述特征构建多视合成孔径雷达sar图像序列，用特征序列对循环神经网络rnn进行有监督训练，再用训练好的网络对测试集特征序列进行识别。该方法解决了现有合成孔径雷达sar目标识别方法未利用序列图像特征的问题，但是，该方法仍然存在的不足之处是，由于该方法在预训练中需要进行卷积自编码，导致无法从输入图像中直接得出分类结果，目标识别的实时性差，且循环神经网络在训练中存在梯度消失的现象，无法充分利用图像的序列信息，因此识别正确率低。ningwang,yinghuawang,hongweiliu,qunshengzuo,jingluhe在其发表的论文“feature-fusedsartargetdiscriminationusingmultipleconvolutionalneuralnetworks”(ieeegeoscienceandremotesensingletters,2017)中提出了一种基于多个卷积神经网络cnn(convolutionalneuralnetwork)融合特征的合成孔径雷达sar自动目标识别atr方法。该方法的具体步骤为：首先将数据集的所有图像视为独立同分布的样本，对每幅图像求梯度，提取出边缘信息，然后对同一样本的原图和边缘提取后的图像分别输入卷积神经网络cnn提取特征，将两种特征向量进行融合，得到目标图像的联合表示，最后得出分类结果。该方法保留了图像各部分的空间关系，但是，该方法仍然存在的不足之处是，由于该方法将图像序列作为多个独立样本进行分类，损失了图像序列之间的变化特性，因此对变化目标的识别性能差。技术实现要素：本发明的目的在于针对上述现有技术的不足，提出一种基于卷积循环神经网络的序列合成孔径雷达sar目标识别方法。实现本发明目的的思路是：使用滑窗法对连续合成孔径雷达sar图像进行处理，生成序列样本集，构造一个由深度卷积神经网络和循环神经网络级联而成的卷积循环神经网络，该网络将深度卷积神经网络的最后一层特征图拼接，得到特征向量，循环神经网络由2层双向长短期记忆lstm网络级联构成，将循环神经网络的输出在时间步上平均化，输入softmax分类器中，得到合成孔径雷达sar序列图像的目标识别结果。本发明的具体步骤包括如下：(1)生成样本集：(1a)从移动和静止目标获取与识别mstar数据集中，分别选取雷达在17°俯仰角下观测到的3671幅合成孔径雷达sar图像及相应的标签，组成训练样本集；(1b)从移动和静止目标获取与识别mstar数据集中，分别选取雷达在15°俯仰角下观测到的3203幅合成孔径雷达sar图像及相应的标签，组成测试样本集；(2)训练样本集：(2a)利用阈值分割方法，去除训练样本集中的每幅合成孔径雷达sar图像的背景杂波，得到处理后的训练样本集；(2b)围绕处理后训练样本集中每幅合成孔径雷达sar图像的中心，将每幅合成孔径雷达sar图像裁剪为60×60个像素,得到裁剪后的训练样本集；(2c)将裁剪后的训练样本集，每15幅合成孔径雷达sar图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集；(3)构建卷积循环神经网络；(3a)构建一个由4层卷积层，3层池化层，1层dropout层构成的深度卷积神经网络，该深度卷积神经网络依次排布4层卷积层，每两层卷积层之间，连接一层池化层，最后一层卷积层连接至dropout层；(3b)前三层卷积层的卷积核大小为5×5个像素，步长均为1个像素，激活函数均为relu，三层卷积特征图的数量分别为16幅、32幅、64幅，三层池化层的核窗口大小均为2×2个像素，步长均为2个像素；(3c)第四层卷积层的卷积核的大小为4×4个像素，步长为1个像素，激活函数为relu，其卷积特征图的数量为128幅，特征图的大小是1×1个像素，将128幅卷积特征图首尾相连拼接成长度为128个像素的特征向量，dropout层的保留概率为0.5；(3d)将构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，该循环神经网络由2层双向长短期记忆lstm网络级联而成；(3e)将循环神经网络的输出向量在时间步上求平均，将该平均值输入softmax分类器，得到一个卷积循环神经网络；(4)训练卷积循环神经网络将训练序列样本集输入到卷积循环神经网络进行训练，得到训练好的卷积循环网络；(5)测试样本集：(5a)利用阈值分割方法，去除测试样本集中的每幅合成孔径雷达sar图像的背景杂波，得到处理后的测试样本集；(5b)围绕处理后测试样本集中每幅合成孔径雷达sar图像的中心，将每幅合成孔径雷达sar图像裁剪为60×60个像素,得到裁剪后的测试样本集；(5c)将裁剪后的测试样本集，每15幅合成孔径雷达sar图像分一组，使用滑窗法,生成包含3063组序列的测试序列样本集；(6)计算测试序列样本集的识别正确率：将生成的测试序列样本集，输入训练好的卷积循环神经网络进行测试，得到网络输出的分类结果，根据测试序列样本集的真实类别和网络输出的结果，得到测试序列样本集的识别正确率。本发明与现有技术相比具有以下优点：第一，由于本发明构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，克服了现有技术中预训练中需要进行卷积自编码，导致无法从输入图像中直接得出分类结果，目标识别的实时性差的问题，使得本发明能从输入的合成孔径雷达sar图像序列中直接提取特征，得到识别结果，提高了目标识别的实时性。第二，由于本发明的循环神经网络由2层双向长短期记忆lstm网络级联而成，克服了现有技术中由于循环神经网络在训练中存在梯度消失，无法充分利用图像的序列信息，识别正确率低的问题，使得本发明能提取输入的合成孔径雷达sar图像序列的长期特征，提高了目标识别的正确率。第三，由于本发明中每15幅合成孔径雷达sar图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集，克服了现有技术中将图像序列作为多个独立样本进行分类，损失了图像序列之间的变化特性，对变化目标的识别性能差的问题，使得本发明能提取合成孔径雷达sar图像序列之间的变化特征，提高了对变化目标的识别性能。附图说明图1是本发明的流程图；图2是本发明的仿真图。具体实施方式下面结合附图对本发明做进一步的描述。参照图1，对本发明实现的具体步骤做进一步的描述。步骤1，生成样本集。从移动和静止目标获取与识别mstar数据集中，分别选取雷达在17°俯仰角下观测到的3671幅合成孔径雷达sar图像及相应的标签，组成训练样本集。从移动和静止目标获取与识别mstar数据集中，分别选取雷达在15°俯仰角下观测到的3203幅合成孔径雷达sar图像及相应的标签，组成测试样本集。步骤2，训练样本集。利用阈值分割方法，去除训练样本集中的每幅合成孔径雷达sar图像的背景杂波，得到处理后的训练样本集。阈值分割方法的具体步骤如下：第1步，对输入的每一幅合成孔径雷达sar图像进行0.5次幂的变换，得到增强背景杂波与阴影区域可分性的合成孔径雷达sar图像样本集。第2步，在合成孔径雷达sar图像样本集中任选出1幅未经处理的合成孔径雷达sar图像。第3步，使用边长为15个像素的正方形滑窗，以1个像素的步长，在选出的合成孔径雷达sar图像上进行滑动，统计所有滑窗内像素的均值，取出所有均值中的最大值a，选择合成孔径雷达sar图像左上角5×5个像素大小的区域，计算该区域内像素的均值b，将合成孔径雷达sar图像中所有像素值大于等于t的像素点置为1，其余像素点的值置为0，得到合成孔径雷达sar图像对应的二值图像，其中阈值t＝0.35×a+0.65×b。第4步，对二值图像进行形态学闭运算处理，得到填补目标边缘缺损的二值图像，对处理后图像的所有连通域进行标记，选择面积最大的连通域作为目标区域，将目标区域内所有像素点的值置为1，其余像素点的值置为0，得到标记后的二值图像。第5步，用标记后的二值图像点乘所选的合成孔径雷达sar图像，得到去除背景杂波后的合成孔径雷达sar图像。第6步，判断是否选取完合成孔径雷达sar图像样本集中的所有图像，若是，则执行本步骤的第7步，否则，执行本步骤的第2步。第7步，得到去除背景杂波后的合成孔径雷达sar图像样本集。围绕处理后训练样本集中每幅合成孔径雷达sar图像的中心，将每幅合成孔径雷达sar图像裁剪为60×60个像素,得到裁剪后的训练样本集。将裁剪后的训练样本集，每15幅合成孔径雷达sar图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集。滑窗法的具体步骤如下：第1步，将裁剪后的样本集所有合成孔径雷达sar图像排成一行，得到样本集总序列。第2步，使用长度为15幅合成孔径雷达sar图像，宽度为1幅合成孔径雷达sar图像的矩形滑窗，以1幅合成孔径雷达sar图像的步长在样本集总序列上滑动，取出滑窗内的所有合成孔径雷达sar图像序列，构成混合序列样本集。第3步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，所述序列样本的标签与裁剪后样本集的标签一一对应。步骤3，构建卷积循环神经网络。构建一个由4层卷积层，3层池化层，1层dropout层构成的深度卷积神经网络，该深度卷积神经网络依次排布4层卷积层，每两层卷积层之间，连接一层池化层，最后一层卷积层连接至dropout层。前三层卷积层的卷积核大小为5×5个像素，步长均为1个像素，激活函数均为relu，三层卷积特征图的数量分别为16幅、32幅、64幅，三层池化层的核窗口大小均为2×2个像素，步长均为2个像素。第四层卷积层的卷积核的大小为4×4个像素，步长为1个像素，激活函数为relu，其卷积特征图的数量为128幅，特征图的大小是1×1个像素，将128幅卷积特征图首尾相连拼接成长度为128个像素的特征向量，dropout层的保留概率为0.5。将构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，该循环神经网络由2层双向长短期记忆lstm网络级联而成。该循环神经网络的每层双向长短期记忆lstm网络的隐藏层维度为1024个像素，时间步长度为15幅，将第二层双向长短期记忆lstm网络的前向输出向量和后向输出向量按元素求和，得到循环神经网络的输出向量。将循环神经网络的输出向量在时间步上求平均，将该平均值输入softmax分类器，得到一个卷积循环神经网络。步骤4，训练卷积循环神经网络。将训练序列样本集输入到卷积循环神经网络进行训练，得到训练好的卷积循环网络。步骤5，测试样本集。利用阈值分割方法，去除测试样本集中的每幅sar图像的背景杂波，得到处理后的测试样本集。阈值分割方法的具体步骤如下：第1步，对输入的每一幅合成孔径雷达sar图像进行0.5次幂的变换，得到增强背景杂波与阴影区域可分性的合成孔径雷达sar图像样本集。第2步，在合成孔径雷达sar图像样本集中任选出1幅未经处理的合成孔径雷达sar图像。第3步，使用边长为15个像素的正方形滑窗，以1个像素的步长，在选出的合成孔径雷达sar图像上进行滑动，统计所有滑窗内像素的均值，取出所有均值中的最大值a，选择合成孔径雷达sar图像左上角5×5个像素大小的区域，计算该区域内像素的均值b，将合成孔径雷达sar图像中所有像素值大于等于t的像素点置为1，其余像素点的值置为0，得到合成孔径雷达sar图像对应的二值图像，其中阈值t＝0.35×a+0.65×b。第4步，对二值图像进行形态学闭运算处理，得到填补目标边缘缺损的二值图像，对处理后图像的所有连通域进行标记，选择面积最大的连通域作为目标区域，将目标区域内所有像素点的值置为1，其余像素点的值置为0，得到标记后的二值图像。第5步，用标记后的二值图像点乘所选的合成孔径雷达sar图像，得到去除背景杂波后的合成孔径雷达sar图像。第6步，判断是否选取完合成孔径雷达sar图像样本集中的所有图像，若是，则执行本步骤的第7步，否则，执行本步骤的第2步。第7步，得到去除背景杂波后的合成孔径雷达sar图像样本集。围绕处理后测试样本集中每幅合成孔径雷达sar图像的中心，将每幅合成孔径雷达sar图像裁剪为60×60个像素,得到裁剪后的测试样本集。将裁剪后的测试样本集，每15幅合成孔径雷达sar图像分一组，使用滑窗法,生成包含3063组序列的测试序列样本集。滑窗法的具体步骤如下：第1步，将裁剪后的样本集所有合成孔径雷达sar图像排成一行，得到样本集总序列。第2步，使用长度为15幅合成孔径雷达sar图像，宽度为1幅合成孔径雷达sar图像的矩形滑窗，以1幅合成孔径雷达sar图像的步长在样本集总序列上滑动，取出滑窗内的所有合成孔径雷达sar图像序列，构成混合序列样本集。第3步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，所述序列样本的标签与裁剪后样本集的标签一一对应。步骤6，计算测试序列样本集的识别正确率。将生成的测试序列样本集，输入训练好的卷积循环神经网络进行测试，得到网络输出的分类结果，根据测试序列样本集的真实类别和网络输出的结果，得到测试序列样本集的识别正确率。测试序列样本集的识别正确率是由下式计算得到：其中，c表示测试序列样本集的识别正确率，m表示测试序列样本集的序列样本数量，h(·)表示分类鉴别函数，ti表示测试序列样本集中第i个测试序列样本的真实类别，yi表示测试序列样本集中第i个测试序列样本对应的网络输出结果，当ti和yi相等时，h(ti,yi)等于1，否则h(ti,yi)等于0。下面结合仿真实验对本发明的效果做进一步的描述。1、仿真实验条件：本发明的仿真实验所用数据为公开的运动与静止目标的获取与识别mstar数据集，包括雷达俯仰角在15°及17°下的10类地面车辆目标，这10类目标分别为：步兵战车bmp-2、装甲运输车btr-70、坦克t-72、装甲运输车btr-60、自行火炮2s1、装甲侦察车brdm2、推土机d-7、坦克t-62、货运卡车zil-131和自行高炮zsu-234。仿真实验选取雷达在17°俯仰角下的3671幅目标图像和相应的类别标签作为训练样本，选取雷达在15°俯仰角下的3203幅目标图像和相应的类别标签作为测试样本，所有样本图像的大小为128×128像素。仿真实验硬件平台为intelxeone5-2683@2.00ghzcpu、64gbram、nvidiageforcegtx1080tigpu，仿真实验软件平台为python3.6和tensorflow1.3。2、仿真实验内容与结果分析：本发明的仿真实验是在相同的数据集下，应用本发明方法和传统卷积神经网络方法对目标进行分类，并分别计算两种方法的识别正确率。在本发明的方法中，首先从训练样本集中生成包含3531组序列的训练序列样本集，使用该序列样本集训练卷积循环神经网络，得到训练好的卷积循环神经网络。然后从测试样本集中生成包含3063组序列的测试序列样本集，使用该序列样本集在训练好的卷积循环神经网络上进行测试，得到本发明的识别正确率。将本发明的方法与传统的卷积神经网络方法在相同数据集下的识别正确率进行对比，画出前200次循环中两种方法的识别正确率变化曲线，结果如图2所示。在图2中，横坐标是两种方法在仿真实验中的迭代次数，单位为次，纵坐标是识别正确率，单位为百分比％，圆点和实线组成的折线表示本发明方法的识别正确率随迭代次数的变化情况，三角形和虚线组成的折线表示传统卷积神经网络方法的识别正确率随迭代次数的变化情况。从图2中可以观察到，本发明方法相比传统卷积神经网络具有更快的收敛速度和更高的识别正确率。两种方法在200次循环后的识别正确率结果如表1所示。表1mstar数据目标识别结果对比表仿真实验方法传统卷积神经网络方法本发明方法识别正确率94.22％99.74％从表1中可以看出，本发明提出的基于卷积循环网络的合成孔径雷达sar序列图像目标识别方法相比现有技术的卷积神经网络方法的识别正确率提高了5.52％，说明本发明中通过提取合成孔径雷达sar序列图像之间的变化特征，能够提高合成孔径雷达sar图像分类的识别正确率，具有重要的实际意义。当前第1页12