基于特征融合和跨层连接的SAR图像目标检测方法

基于特征融合和跨层连接的sar图像目标检测方法
技术领域
1.本发明属于目标检测技术领域，具体涉及一种基于特征融合和跨层连接的sar图像目标检测方法。


背景技术：

2.sar(synthetic aperture radar，合成孔径雷达)使用主动微波成像，有一定的穿透作用，能够有效探测各种伪装目标，适合在各种恶劣的战场条件下完成侦察目标，从而提供各种条件下的高分辨图像，因此对sar图像进行目标检测在军事战略部署和海洋管理等领域起着重要的作用。
3.现有的sar目标检测算法主要包括恒虚警率检测算法、多图像特征融合算法、支持向量机和贝叶斯分类器等。随着天气、环境的干扰以及数据量的增加，这些传统算法对于检测模型的求解会变得十分困难，因此将会造成目标的虚警或者漏检，降低目标的检测效果。
4.近年来，深度学习技术快速发展，由于深度学习技术不需要人工耗时耗力的设计特征就可以实现目标检测，因此推动了基于深度学习的sar图像目标检测的研究。相关技术中，苏娟等人在《用于sar图像小目标舰船检测的改进ssd算法》中提出了迁移学习、浅层特征增强和数据增广三个方面的改进，使检测精度比原始的ssd检测精度有所提高。胡昌华在《基于深度卷积神经网络的sar图像舰船小目标检测》中，通过在损失函数中引入目标尺寸的平衡项，使小目标具有更低的损失函数值，从而使小目标更容易检测到，使得检测效果有所提升。
5.然而，上述方法无法达到实际应用中对于目标检测较高的精度要求，因此本领域技术人员亟需提出一种具有高精度检测效果的sar图像小目标检测方法。


技术实现要素：

6.为了解决现有技术中存在的上述问题，本发明提供了一种基于特征融合和跨层连接的sar图像目标检测方法。本发明要解决的技术问题通过以下技术方案实现：
7.本发明实施例提供一种基于特征融合和跨层连接的sar图像目标检测方法，包括：
8.获取待检测图像，所述待检测图像为sar图像；
9.输入所述待检测图像至预先训练好的检测模型，以使所述待检测模型对所述待检测图像进行下采样，得到不同尺度的第一类特征图；
10.对所述第一类特征图进行注意力特征融合得到第二类特征图后，对所述第一类特征图及第二类特征图进行跨尺度特征融合，得到第三类特征图；
11.利用所述第三类特征图感知所述待检测图像中的目标，获得目标检测结果。
12.在本发明的一个实施例中，所述检测模型包括下采样模块，所述下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层，所述第一下采样层、第二下采样层、第三下采样层和第四下采样层均包括卷积核大小为3
×
3、步长为2的卷积层。
13.在本发明的一个实施例中，输入所述待检测图像至预先训练好的检测模型，以使
所述待检测模型对所述待检测图像进行下采样，得到不同尺度的第一类特征图的步骤，包括：
14.将所述待检测图像输入预先训练好的检测模型后，所述第一下采样层、第二下采样层、第三下采样层和第四下采样层分别对所述待检测图像进行4倍下采样、8倍下采样、16倍下采样和32倍下采样，获得特征图f1、特征图f2、特征图f3和特征图f4。
15.在本发明的一个实施例中，所述检测模型还包括第一特征融合模块；
16.对所述第一类特征图进行注意力特征融合得到第二类特征图的步骤，包括：
17.所述第一特征融合模块将所述特征图f4依次输入卷积核大小为1
×
1的卷积层以及3个5
×
5串行连接的最大池化层，获得第二类特征图中的特征图f5，所述特征图f5的尺寸与所述特征图f4的尺寸相同；
18.所述第一特征融合模块对所述特征图f5进行2倍上采样后，与所述特征图f3融合得到特征图f6；
19.所述第一特征融合模块对所述特征图f6进行2倍上采样后，与所述特征图f2融合得到特征图f7；
20.所述第一特征融合模块对所述特征图f7进行2倍上采样后，与所述特征图f1融合得到特征图f8。
21.在本发明的一个实施例中，对所述特征图f5进行2倍上采样后，与所述特征图f3融合得到特征图f6的步骤，包括：
22.对所述特征图f5进行2倍上采样；
23.利用注意力机制对上采样后的特征图f5以及所述特征图f3分别进行处理；
24.将经过注意力机制处理的特征图f5和特征图f3进行通道拼接，得到特征图f6。
25.在本发明的一个实施例中，利用注意力机制按照如下步骤对特征图f3进行处理：
26.利用残差网络对所述特征图f3进行处理，得到特征图f3’；
27.对所述特征图f3’分别在水平方向和竖直方向进行全局平均池化，得到水平方向特征图及竖直方向特征图
28.分别对所述水平方向特征图及所述竖直方向特征图进行卷积，并对得到的第一子特征图及第二子特征图进行通道拼接，获得第三子特征图；
29.对所述第三子特征图进行非线性处理后，拆分得到水平方向特征图及竖直方向特征图
30.分别对所述水平方向特征图及所述竖直方向特征图进行卷积及归一化，得到水平方向的注意力权重和竖直方向的注意力权重；
31.将所述特征图f3’、所述水平方向的注意力权重以及竖直方向的注意力权重相乘，得到经过注意力机制处理的特征图f3。
32.在本发明的一个实施例中，所述检测模型还包括第二特征融合模块；
33.对所述第一类特征图及第二类特征图进行跨尺度特征融合，得到第三类特征图的步骤，包括：
34.所述第二特征融合模块将所述特征图f8依次输入卷积核大小为1
×
1的卷积层以
及3个5
×
5串行连接的最大池化层，获得第三类特征图中的特征图f9，所述特征图f9的尺寸与所述特征图f8的尺寸相同；
35.所述第二特征融合模块对所述特征图f9进行2倍下采样后，与所述特征图f2及所述特征图f7进行特征融合，得到特征图f10；
36.所述第二特征融合模块对所述特征图f10进行2倍下采样后，与所述特征图f3及所述特征图f6进行特征融合，得到特征图f11；
37.所述第二特征融合模块对所述特征图f11进行2倍下采样后，与所述特征图f5进行特征融合，得到特征图f12。
38.在本发明的一个实施例中，对所述特征图f9进行2倍下采样后，与所述特征图f2及所述特征图f7进行特征融合，得到特征图f10的步骤，包括：
39.对所述特征图f9进行2倍下采样；
40.利用所述注意力机制对下采样后的特征图f9、所述特征图f2及所述特征图f7分别进行处理；
41.将经过注意力机制处理的特征图f9、特征图f2和特征图f7进行通道拼接，得到特征图f10。
42.与现有技术相比，本发明的有益效果在于：
43.本发明提供一种基于特征融合和跨层连接的sar目标检测方法，通过4倍、8倍、16倍和32倍下采样提取出待检测图像的浅层细节特征，同时将浅层细节特征与深层语义特征相融合，能够提升对目标的检测能力。此外，本发明在特征图的融合过程中还引入了注意力机制，可以进一步提升待检测图像中目标的检测精度。
44.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
45.图1是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的一种流程图；
46.图2是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的一种示意图；
47.图3是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的另一种示意图；
48.图4是本发明实施例提供的检测模型训练过程的一种流程图；
49.图5是本发明实施例提供的检测模型训练过程中的精度曲线图；
50.图6是本发明实施例提供的检测模型训练过程中的平均精度均值曲线图；
51.图7是本发明实施例提供的检测模型训练过程中的损失曲线图；
52.图8a是本发明实施例提供的目标检测结果的示意图；
53.图8b是本发明实施例提供的目标检测结果的另一种示意图。
具体实施方式
54.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
55.图1是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的一种流程图，图2是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的一种示意图。请参见图1-2，本发明实施例提供一种基于特征融合和跨层连接的sar图像目标检测方法，包括：
56.s1、获取待检测图像，待检测图像为sar图像；
57.s2、输入待检测图像至预先训练好的检测模型，以使待检测模型对待检测图像进行下采样，得到不同尺度的第一类特征图；
58.s3、对第一类特征图进行注意力特征融合得到第二类特征图后，对第一类特征图及第二类特征图进行跨尺度特征融合，得到第三类特征图；
59.s4、利用第三类特征图感知待检测图像中的目标，获得目标检测结果。
60.本实施例中，由于待检测图像为sar图像，因此检测模型的输入端可为单通道输入，待检测图像输入至上述检测模型后，先对待检测图像进行下采样，以提取出sar图像所包含目标在浅层的细节特征。
61.可选地，检测模型包括下采样模块，下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层，本实施例中，第一下采样层、第二下采样层、第三下采样层和第四下采样层均包括卷积核大小为3
×
3、步长为2的卷积层。
62.请继续参见图2，上述步骤s2中，输入待检测图像至预先训练好的检测模型，以使待检测模型对待检测图像进行下采样，得到不同尺度的第一类特征图的步骤，包括：
63.将待检测图像输入预先训练好的检测模型后，第一下采样层、第二下采样层、第三下采样层和第四下采样层分别对待检测图像进行4倍下采样、8倍下采样、16倍下采样和32倍下采样，获得特征图f1、特征图f2、特征图f3和特征图f4。
64.图3是本发明实施例提供的基于特征融合和跨层连接的sar图像目标检测方法的另一种示意图。如图3所示，步骤s3中，上述检测模型还包括第一特征融合模块；
65.对第一类特征图进行注意力特征融合得到第二类特征图的步骤，包括：
66.第一特征融合模块将特征图f4依次输入卷积核大小为1
×
1的卷积层以及3个5
×
5串行连接的最大池化层，获得第二类特征图中的特征图f5，所述特征图f5的尺寸与所述特征图f4的尺寸相同；
67.第一特征融合模块对特征图f5进行2倍上采样后，与特征图f3融合得到特征图f6；
68.第一特征融合模块对特征图f6进行2倍上采样后，与特征图f2融合得到特征图f7；
69.第一特征融合模块对特征图f7进行2倍上采样后，与特征图f1融合得到特征图f8。
70.上述步骤s4中，检测模型还包括第二特征融合模块；
71.对第一类特征图及第二类特征图进行跨尺度特征融合，得到第三类特征图的步骤，包括：
72.第二特征融合模块将特征图f8依次输入卷积核大小为1
×
1的卷积层以及3个5
×
5串行连接的最大池化层，获得第三类特征图中的特征图f9，所述特征图f9的尺寸与所述特征图f8的尺寸相同；
73.第二特征融合模块对特征图f9进行2倍下采样后，与特征图f2及特征图f7进行特征融合，得到特征图f10；
74.第二特征融合模块对特征图f10进行2倍下采样后，与特征图f3及特征图f6进行特
征融合，得到特征图f11；
75.第二特征融合模块对特征图f11进行2倍下采样后，与特征图f5进行特征融合，得到特征图f12。
76.具体而言，请继续参见图3，以待检测图像大小为640
×
640的情况为例，待检测图像分别经过4倍、8倍、16倍和32倍的下采样之后，得到尺寸为160
×
160的特征图f1、尺寸为80
×
80的特征图f2、尺寸为40
×
40的特征图f3和尺寸为20
×
20的特征图f4；进一步地，第二类特征图中的特征图f5的尺寸与第一类特征图中的特征图f4的尺寸相同，将特征图f5进行2倍上采样之后与特征图f3融合，得到尺寸为40
×
40的特征图f6，再将特征图f6进行2倍上采样之后与特征图f2融合，得到尺寸为80
×
80的特征图f7，接着将特征图f7进行2倍上采样之后与特征图f1融合，得到尺寸为160
×
160的特征图f8；第三类特征图中特征图f9的尺寸与特征图f8的尺寸相同，将特征图f9进行2倍下采样之后与特征图f2、f7进行融合，得到尺寸为80
×
80的特征图f10，接着对特征图f10进行2倍下采样并与特征图f3、f6进行融合，得到大小为40
×
40的特征图f11，最后将f11进行2倍下采样并与特征图f5进行融合，得到尺寸为20
×
20的特征图f12。
77.有上述过程可知，经过第一特征融合模块与第二特征融合模块的处理之后，可以获得尺寸分别为20
×
20的特征图f12、40
×
40的特征图f11、80
×
80的特征图f10以及160
×
160的特征图f9，而特征图f9、特征图f10、特征图f11和特征图f12映射到大小为640
×
640的待检测图像上的感受野分别为4
×
4、8
×
8、16
×
16以及32
×
32，分别对应最小、较小、中等和较大的目标，因此检测模型通过这四种尺度的特征图能够感知不同大小目标的像素点，从而生成相应的检测框，最后仅保留下置信度最高的检测框，作为待检测目标的检测结果。
78.上述步骤s4中，对特征图f5进行2倍上采样后，与特征图f3融合得到特征图f6的步骤，包括：
79.对特征图f5进行2倍上采样；
80.利用注意力机制对上采样后的特征图f5以及特征图f3分别进行处理；
81.将经过注意力机制处理的特征图f5和特征图f3进行通道拼接，得到特征图f6。
82.可选地，利用注意力机制按照如下步骤对特征图f3进行处理：
83.s41、利用残差网络对特征图f3进行处理，得到特征图f3’；
84.s42、对特征图f3’分别在水平方向和竖直方向进行全局平均池化，得到水平方向特征图及竖直方向特征图
85.s43、分别对水平方向特征图及竖直方向特征图进行卷积，并对得到的第一子特征图及第二子特征图进行通道拼接，获得第三子特征图；
86.s44、对第三子特征图进行非线性处理后，拆分得到水平方向特征图f
x2
及竖直方向特征图f
y2
；
87.s45、分别对水平方向特征图f
x1
及竖直方向特征图f
y1
进行卷积及归一化，得到水平方向的注意力权重和竖直方向的注意力权重；
88.s46、将特征图f3’、水平方向的注意力权重以及竖直方向的注意力权重相乘，得到经过注意力机制处理的特征图f3。
89.本实施例中，首先利用残差网络对特征图f3进行处理，然后将得到的特征图f3’进
行全局平均池化，示例性地，分别使用池化核(h,1)和(1,w)来编码特征图f3’在水平方向及竖直方向的特征，如公式(1)、(2)所示：
[0090][0091][0092]
其中，表示第h行的第c维通道的特征图，表示第w列的第c维通道的特征图，w和h分别表示特征图f3’的宽度和高度，fc表示特征图f3’的第c维特征。
[0093]
可见，经过全局平均池化后可得到水平方向和竖直方向的两个特征图即f
x1
、f
y1
，本实施例所采用的注意力机制不仅关注通道方向，也会关注空间方向的特征，能够在搜索单个方向信息的同时保证另一个方向的空间信息不丢失，有利于检测模型对待检测图像中目标进行更加精准的定位。
[0094]
进一步地，对水平方向特征图及竖直方向特征图进行卷积和通道拼接，获得第三子特征图，并对第三子特征图进行归一化和非线性化处理，示例性地，可以采用relu非线性激活函数进行非线性化，计算方法如公式(3)所示：
[0095][0096]
其中，f([zh,zw])表示将水平方向特征图和竖直方向特征图进行卷积和融合之后得到的特征图f。
[0097]
上述步骤s45中，通过两个1
×
1的卷积和sigmoid激活函数操作进行归一化处理，输出水平方向的注意力权重和竖直方向的注意力权重，计算过程如公式(4)和公式(5)所示：
[0098][0099][0100]
其中，和分别表示特征图f进行split操作得到的水平方向特征图及竖直方向特征图。
[0101]
最后，将水平的注意力权重ηw、竖直方向的注意力权重ηw与特征图f3’相乘，得到注意力机制处理后的特征图f3。
[0102]
可选地，对特征图f9进行2倍下采样后，与特征图f2及特征图f7进行特征融合，得到特征图f10的步骤，包括：
[0103]
对特征图f9进行2倍下采样；
[0104]
利用注意力机制对下采样后的特征图f9、特征图f2及特征图f7分别进行处理；
[0105]
将经过注意力机制处理的特征图f9、特征图f2和特征图f7进行通道拼接，得到特征图f10。
[0106]
应当理解，本发明生成第一类特征图之后，通过特征融合可生成第二类特征图及第三类特征图，在每次特征融合之前，均可以利用注意力机制对待融合的特征图进行处理，由于处理过程与特征图f3的处理过程类似，故此处不再赘述。
[0107]
下面通过仿真实验对上述基于特征融合和跨层连接网络的sar图像目标检测方法做进一步说明。
[0108]
首先，建立sar图像目标检测的训练集、验证集和测试集，上述数据集均可选用公共数据集ssdd，其包含1160张sar图像和2456艘船只，随机选取70％的sar图像作为训练集，20％的sar图像作为验证集，10％的sar图像作为测试集，并将目标设置为ship一个类别。
[0109]
接着，对建立的上述训练集、验证集和测试集进行预处理，利用mosaic算法实现sar图像的数据增强，mosaic算法将4张图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，有利于丰富检测物体的背景和小目标，并且在计算批归一化的时候一次会计算四张图片的数据，使得mini-batch大小不需要很大就可以达到比较好的效果，同时多样的目标样本使训练得到的模型具有很强的泛化能力。
[0110]
图4是本发明实施例提供的检测模型训练过程的一种流程图。示例性地，如图4所示，按照如下步骤训练检测模型：
[0111]
首先设置训练参数。表1为检测模型的部分网络超参数，利用随机优化算法adam进行训练，训练批次的大小设置为batchsize＝8，动量参数momentum＝0.937，初始学习率lr0＝0.01，终止学习率lrf＝0.1，训练迭代次数epoch＝300。
[0112]
表1
[0113][0114]
图5是本发明实施例提供的检测模型训练过程中的精度曲线图，图6是本发明实施例提供的检测模型训练过程中的平均精度均值曲线图，图7是本发明实施例提供的检测模型训练过程中的损失曲线图。进一步地，将预处理后的训练集和验证集依次输入构建的检测模型中，对sar图像的尺寸进行自适应缩放，如图5-7所示，根据训练集的损失、精度和召回率以及验证集的损失、精度和平均精度均值的变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数。
[0115]
根据确定的学习率和迭代次数，完成检测模型的训练后，将预处理后的测试集输入训练好的检测模型，检测效果如图7所示，从精度和平均精度均值上对检测模型进行评估，判断检测模型的评估结果是否满足实际的应用需求，若满足实际应用的需求，则将该模型用于sar图像舰船目标的检测，如8a-8b所示，目标框中即为检测出的目标ship；否则，修正检测模型的深度和宽度，并对调整后的检测模型重新训练。
[0116]
将本发明提供的目标检测方法与基于yolov3的sar图像目标检测方法、基于ssd的sar图像目标检测方法和基于faster-rcnn的sar图像目标检测方法在ssdd数据集上的检测结果相比较，平均精度分别提高了3.3％、10.8％、14.4％，精度和平均精度均值分别达到了95.9％和98％。
[0117]
通过上述各实施例可知，本发明的有益效果在于：
[0118]
本发明提供一种基于特征融合和跨层连接的sar目标检测方法，通过4倍、8倍、16倍和32倍下采样提取出待检测图像的浅层细节特征，同时将浅层细节特征与深层语义特征相融合，能够提升对目标的检测能力。此外，本发明在特征图的融合过程中还引入了注意力机制，可以进一步提升待检测图像中目标的检测精度。
[0119]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0120]
参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0121]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。
[0122]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。