一种面向SAR图像的目标自动检测方法及系统

一种面向sar图像的目标自动检测方法及系统
技术领域
1.本发明涉及基于sar图像的目标检测技术，具体涉及一种面向sar图像的目标自动检测方法及系统。


背景技术：

2.目标检测是高分辨合成孔径雷达(sar)领域的热点问题。飞机是一种典型的人造目标，在军用领域，飞机具有重要的军事价值，高效、准确获取机场、空域等位置的飞机目标信息，对实时获取战场军事情报、制定作战计划具有重要意义；在民用领域，飞机的检测识别可以更加有效地对机场进行管理。因合成孔径雷达(sar)具有全天时、全天候工作的特性，sar图像中的目标检测与识别技术一直受到广泛关注和研究。
3.传统的sar图像目标检测方法如恒虚警率算法(constant false alarm rate,cfar)和ca
‑
cfar算法，存在鲁棒性差和自动化程度不高等难以攻破的问题。
4.近年来，合成孔径雷达成像及深度学习技术迅速发展，人们获取到了更多高分辨率的sar图像，许多学者开始研究利用深度学习算法进行sar图像目标检测。与传统sar图像目标检测方法和机器学习算法相比，具有更高的检测精度和更短的测试时间，取得了很大的研究进展，尤其是可以实现端对端的检测。飞机目标具有尺寸小，类型多样，分布密集等特点，与跑道，桥梁建筑物等目标检测相比难度更大。因此，目标检测是sar图像目标检测中的难点。在2019年li等人将改进的线段检测器lsd与faster
‑
cnn[4]相结合设计了一种sar图像中的飞机检测方法。为了更好的实现目标检测，越来越多的学者引入了注意力机制。zhao等人设计一个金字塔注意扩展网络pyramid attention dilated network(padn)增强了飞机的后向散射细粒度特征的学习。2020年，guo等人提出了一种检测飞机的方法，该方法通过将散射信息与深度学习相结合来检测飞机目标。chen等人提出了多级密集连接双注意力网络来自动检测机场跑道区，取得了比较好的提取结果，但该网络训练速度和测试速度相对较慢。2020年，chen等人提出了一种基于深度学习的新的端到端框架，可以自动对sar图像中的水和阴影区域进行分类。chen等人提出了一种新的场景分类框架，称为具有多尺度空间特征的特征重新校准网络(frn
‑
msf)，实现了sar的场景下高精度分类。tan等人提出了地理空间上下文注意力机制gcam对机场区进行自动检测，不仅精度高，而且测试时间较短。2021年，wang等人将gcam算法与飞机检测算法相结合，提出了一种高效的sar图像飞机检测框架，实现了自动且快速地检测飞机目标。
[0005]
ewfan是一种高效的sar图像目标检测网络，在精度和速度方面都具有相当的优势。然而，由于sar图像背景复杂和飞机类型多样等原因，使用ewfan算法检测飞机仍存在问题，检测率和虚警率都没有达到令人满意的水平。


技术实现要素：

[0006]
本发明要解决的技术问题：针对现有技术的上述问题，提供一种
[0007]
为了解决上述技术问题，本发明采用的技术方案为：
[0008]
一种面向sar图像的目标自动检测方法，包括将输入图像输入预先完成训练的特征融合与抗干扰网络ffan得到目标检测的目标框，所述特征融合与抗干扰网络ffan包括：
[0009]
主干网络，用于将输入图像下采样为不同尺度的特征，包括低级特征p3、中间级特征p4～p6和高级特征p7；
[0010]
池化和通道混洗模块，用于分别对中间级特征p4～p6进行提取与融合分别得到对应的混洗特征p4
′
～p6’；
[0011]
深度融合模块，用于对低级特征p3、混洗特征p4
′
～p6
′
、高级特征p7进行深度融合，分别得到对应的深度融合后的低级特征p3
′
、混洗特征p4
″
～p6
″
、高级特征p7
′
；
[0012]
空间注意力机制rsam，分别用于将深度融合后的混洗特征p6
″
、高级特征p7
′
进行进一步的空间特征提取与融合；
[0013]
空间特征融合模块asff，分别用于将深度融合后的低级特征p3
′
、混洗特征p4
″
～p5
″
进行进一步的空间特征提取与融合；
[0014]
分类回归网络，用于将空间注意力机制rsam以及空间特征融合模块asff两者输出的所有空间特征提取与融合进行分类回归生成目标检测的目标框。
[0015]
可选地，所述主干网络为efficientnet网络，所述efficientnet网络分别针对512
×
512的输入图像依次进行其中不同尺寸的下采样分别得到对应的特征p1～p7，且将第3～7次～下采样得到的特征分别作为低级特征p3、中间级特征p4～p6和高级特征p7。
[0016]
可选地，所述池化和通道混洗模块包括混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s共三种混洗模块，混洗模块psm
‑
l用于对中间级特征p4进行提取与融合分别得到对应的混洗特征p4
′
，混洗模块psm
‑
m用于对中间级特征p5进行提取与融合分别得到对应的混洗特征p5
′
，混洗模块psm
‑
s用于对中间级特征p6进行提取与融合分别得到对应的混洗特征p6
′
，所述混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s均包括：
[0017]
通道分离模块，用于将输入特征的通道一分为二；
[0018]
最大池化操作模块，用于将通道分离模块输出的一部分通道进行最大池化操作；
[0019]
平均池化操作模块，用于将通道分离模块输出的另一部分通道进行平均池化操作；
[0020]
拼接模块，用于将最大池化操作模块的输出、平均池化操作模块的输出和输入通道分离模块的原始输入特征拼接；
[0021]
混洗模块，用于将拼接模块的输出进行混洗操作以丰富各个通道的信息；
[0022]
卷积模块，用于将混洗模块的输出进行卷积操作使输出特征通道数与输入特征相同；
[0023]
所述混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s三者进行最大池化操作和平均池化操作的池化核尺寸分别为{9,15,25}、{5,11}和{3}。
[0024]
可选地，所述深度融合模块为bifpn的改进结构，该改进结构在bifpn的基础上加入了四处跳跃连接，第一处跳跃连接中间级特征p6与混洗特征p5
′
，第二处跳跃连接中间级特征p5与混洗特征p4
′
，第三处跳跃连接中间级特征p5与中间级特征p7，第四处跳跃连接中间级特征p4与中间级特征p6。
[0025]
可选地，所述分类回归网络包括分类网络和回归网络，所述分类网络采用3次64通道的卷积和1次n_b
×
n_c的卷积以预测每一个目标框的类别，所述回归网络采用3次64通道
的卷积和1次n_b
×
4的卷积以用于预测每一个先验框的回归情况，其中n_b指的是该特征层所拥有的先验框数量，n_c指的是网络目标检测类别数。
[0026]
可选地，所述将输入图像输入预先完成训练的特征融合与抗干扰网络ffan得到目标检测的目标框之前还包括预先训练特征融合与抗干扰网络ffan的步骤，且训练特征融合与抗干扰网络ffan时采用的损失函数l
aif
为：
[0027]
l
aif
＝l
fl
+l
aiou
，
[0028]
上式中，l
fl
为focal loss分类损失，l
aiou
为aiou回归损失，且有：
[0029]
l
aiou
＝l
ciou
+pw，+pw，
[0030]
上式中，l
ciou
为ciou回归损失，a和a
t
分别表示预测框和真实框的面积，p为面积的权重函数，w为面积的相似性，iou为交并比。
[0031]
此外，本发明还提供一种面向sar图像的目标自动检测方法，包括：
[0032]
s1)将输入sar图像以带重叠区域的滑窗的方式生成窗口图像；
[0033]
s2)将各窗口图像作为输入图像，采用所述面向sar图像的目标自动检测方法的步骤进行目标检测得到目标框；
[0034]
s3)将各窗口图像的目标框坐标转换到原sar图像中；
[0035]
s4)过滤原sar图像中重叠的目标框，得到作为最终目标检测结果的目标框。
[0036]
可选地，步骤s4)中过滤原sar图像中重叠的目标框采用的方法为非极大值抑制方法。
[0037]
此外，本发明还提供一种面向sar图像的目标自动检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述面向sar图像的目标自动检测方法的步骤。
[0038]
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述面向sar图像的目标自动检测方法的计算机程序。
[0039]
和现有技术相比，本发明具有下述优点：
[0040]
1、本发明方法采用的特征融合与抗干扰网络ffan包括：主干网络，用于将输入图像下采样为不同尺度的特征，包括低级特征p3、中间级特征p4～p6和高级特征p7；池化和通道混洗模块，用于分别对中间级特征p4～p6进行提取与融合分别得到对应的混洗特征p4
′
～p6’；深度融合模块，用于对低级特征p3、混洗特征p4
′
～p6
′
、高级特征p7进行深度融合，分别得到对应的深度融合后的低级特征p3
′
、混洗特征p4
″
～p6
″
、高级特征p7
′
；空间注意力机制rsam，分别用于将深度融合后的混洗特征p6
″
、高级特征p7
′
进行进一步的空间特征提取与融合；空间特征融合模块asff，分别用于将深度融合后的低级特征p3
′
、混洗特征p4
″
～p5
″
进行进一步的空间特征提取与融合；分类回归网络，用于将空间注意力机制rsam以及空间特征融合模块asff两者输出的所有空间特征提取与融合进行分类回归生成目标检测的目标框。通过上述结构，可以有效地提取与融合特征以及提高回归精度，使得特征融合与抗干扰网络ffan在几乎不影响测试速度地前提下显著提升了检测效果。
[0041]
2、本发明方法具有通用性好的优点，不仅可以用于实现飞机的高精度快速检测，也可以用于sar图像中其他密集目标的检测与识别。
附图说明
[0042]
图1为本发明实施例中特征融合与抗干扰网络ffan的结构示意图。
[0043]
图2为本发明实施例中特征融合与抗干扰网络ffan的应用整理方法的原理图。
[0044]
图3为本发明实施例中池化和通道混洗模块的结构示意图。
[0045]
图4为本发明实施例中深度融合模块的结构改进示意图。
[0046]
图5为本发明实施例中分类回归网络的结构示意图
[0047]
图6为本发明实施例中ciou loss存在的问题原理分析图。
具体实施方式
[0048]
如图1所示，本实施例面向sar图像的目标自动检测方法包括将输入图像输入预先完成训练的特征融合与抗干扰网络ffan(feature fusion and anti
‑
interference network)得到目标检测的目标框，特征融合与抗干扰网络ffan包括：
[0049]
主干网络，用于将输入图像下采样为不同尺度的特征，包括低级特征p3、中间级特征p4～p6和高级特征p7；
[0050]
池化和通道混洗模块，用于分别对中间级特征p4～p6进行提取与融合分别得到对应的混洗特征p4
′
～p6’；
[0051]
深度融合模块，用于对低级特征p3、混洗特征p4
′
～p6
′
、高级特征p7进行深度融合，分别得到对应的深度融合后的低级特征p3
′
、混洗特征p4
″
～p6
″
、高级特征p7
′
；
[0052]
空间注意力机制rsam，分别用于将深度融合后的混洗特征p6
″
、高级特征p7
′
进行进一步的空间特征提取与融合；
[0053]
空间特征融合模块asff，分别用于将深度融合后的低级特征p3
′
、混洗特征p4
″
～p5
″
进行进一步的空间特征提取与融合；
[0054]
分类回归网络，用于将空间注意力机制rsam以及空间特征融合模块asff两者输出的所有空间特征提取与融合进行分类回归生成目标检测的目标框。
[0055]
参见图1，本实施例中主干网络为efficientnet网络，efficientnet网络分别针对512
×
512的输入图像依次进行其中不同尺寸的下采样分别得到对应的特征p1～p7，且将第3～7次～下采样得到的特征分别作为低级特征p3、中间级特征p4～p6和高级特征p7。efficientnet网络由谷歌团队提出，它将mobilenet v2中的mbconv作为模型的主要组成部分，并引入了senet中的squeeze and excitation(se)方法对网络结构进行调整。efficientnet网络在精度和速度方面都具有一定的优势，适合作为主干网络用于高效的目标检测算法。
[0056]
池化和通道混洗模块用于进一步提取有效特征。如图3所示，本实施例中池化和通道混洗模块包括混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s共三种混洗模块，混洗模块psm
‑
l用于对中间级特征p4进行提取与融合分别得到对应的混洗特征p4
′
，混洗模块psm
‑
m用于对中间级特征p5进行提取与融合分别得到对应的混洗特征p5
′
，混洗模块psm
‑
s用于对中间级特征p6进行提取与融合分别得到对应的混洗特征p6
′
，如图3所示，混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s均包括：
[0057]
通道分离模块，用于将输入特征的通道一分为二；
[0058]
最大池化操作模块，用于将通道分离模块输出的一部分通道进行最大池化操作；
[0059]
平均池化操作模块，用于将通道分离模块输出的另一部分通道进行平均池化操作；
[0060]
拼接模块，用于将最大池化操作模块的输出、平均池化操作模块的输出和输入通道分离模块的原始输入特征拼接；
[0061]
混洗模块，用于将拼接模块的输出进行混洗操作以丰富各个通道的信息；
[0062]
卷积模块，用于将混洗模块的输出进行卷积操作使输出特征通道数与输入特征相同；
[0063]
混洗模块psm
‑
l、混洗模块psm
‑
m、混洗模块psm
‑
s三者进行最大池化操作和平均池化操作的池化核尺寸分别为{9,15,25}、{5,11}和{3}。
[0064]
深度融合模块用于将五层特征图特征进行深度融合，促进特征层和通道之间的信息交流，以提高检测效果。如图4所示，深度融合模块为bifpn的改进结构，该改进结构在bifpn的基础上加入了四处跳跃连接(如图4中子图(c)中的虚线箭头所示)，第一处跳跃连接中间级特征p6与混洗特征p5
′
，第二处跳跃连接中间级特征p5与混洗特征p4
′
，第三处跳跃连接中间级特征p5与中间级特征p7，第四处跳跃连接中间级特征p4与中间级特征p6。参见图4，本实施例中深度融合模块记为m
‑
bifpn，m
‑
bifpn为对bifpn的改进，而bifpn为fpn的改进。bifpn(如图4(b))不仅有自上而下的融合，也有自下而上的融合，并且bifpn移除了只有一个输入来源的点，与fpn(如图4(a))相比，精度和效率都有一定的提升。本实施例中在bifpn的基础上加入了四处跳跃连接，将每层的原始特征图与输出相加，这样可以融合更多的特征，来提升网络性能。
[0065]
在深度融合模块完成初步特征融合的基础上，本实施例中采用空间注意力机制rsam和空间特征融合模块asff进一步的空间特征提取与融合。空间注意力机制rsam将深度融合后的混洗特征p6
″
、高级特征p7
′
进行进一步的空间特征提取与融合；空间特征融合模块asff将深度融合后的低级特征p3
′
、混洗特征p4
″
～p5
″
进行进一步的空间特征提取与融合。采用空间注意力机制rsam和空间特征融合模块asff进一步的空间特征提取与融合，它们能增强目标显著性以及有效抑制负样本的干扰，并且对网络测试速度地影响很小。
[0066]
最终，特征图经过采用空间注意力机制rsam和空间特征融合模块asff进一步的空间特征提取与融合得到五层有效特征层，特征融合与抗干扰网络ffan使用分类与回归网络来预测结果。如图5所示，分类回归网络包括分类网络和回归网络，分类网络采用3次64通道的卷积和1次n_b
×
n_c的卷积以预测每一个目标框的类别，回归网络采用3次64通道的卷积和1次n_b
×
4的卷积以用于预测每一个先验框的回归情况，其中n_b指的是该特征层所拥有的先验框数量，n_c指的是网络目标检测类别数。
[0067]
将输入图像输入预先完成训练的特征融合与抗干扰网络ffan得到目标检测的目标框之前还包括预先训练特征融合与抗干扰网络ffan的步骤，本实施例中将ciou loss进行了改进，然后将aiou loss引入focal loss中，提出了aif loss，训练特征融合与抗干扰网络ffan时采用的损失函数l
aif
为：
[0068]
l
aif
＝l
fl
+l
aiou
，
[0069]
上式中，l
fl
为focal loss分类损失，l
aiou
为aiou回归损失，且有：
[0070]
l
aiou
＝l
ciou
+pw，+pw，
[0071]
上式中，l
ciou
为ciou回归损失，a和a
t
分别表示预测框和真实框的面积，p为面积的权重函数，w为面积的相似性，iou为交并比。ciou loss在diou loss的基础上加入了长宽比惩罚项，这一改进能在一定程度上提高网络回归精度。但是当出现共中心点、预测框和真实框的长宽比也相同时，ciou loss也会退化为iou loss，如图6所示。因此本实施例中训练特征融合与抗干扰网络ffan时采用的损失函数l
aif
设计了惩罚项pw，惩罚项pw考虑了预测框与真实框的面积的差异性，可以使预测框的面积更接近真实框的面积。如图6所示，相比预测框1，预测框2的面积更接近预测框1真实框的面积，预测框2的l
ciou
等于预测框1的l
ciou
，预测框1的l
aiou
大于预测框2的l
aiou
。
[0072]
参见图2，本实施例还提供一种面向sar图像的目标自动检测方法，包括：
[0073]
s1)将输入sar图像以带重叠区域的滑窗的方式生成窗口图像；
[0074]
s2)将各窗口图像作为输入图像，采用本实施例前述面向sar图像的目标自动检测方法的步骤进行目标检测得到目标框；
[0075]
s3)将各窗口图像的目标框坐标转换到原sar图像中；
[0076]
s4)过滤原sar图像中重叠的目标框，得到作为最终目标检测结果的目标框。
[0077]
本实施例步骤s1)中以带重叠区域的滑窗的方式生成窗口图像时，相邻的窗口会有20％的重叠；由于滑窗检测有一定的重叠率，会导致重叠框的产生，因此步骤s4)需要过滤原sar图像中重叠的目标框，得到作为最终目标检测结果的目标框。参见图2，本实施例步骤s4)中过滤原sar图像中重叠的目标框采用的方法为非极大值抑制方法(nms算法)，毫无疑问，也可以根据需要采用其他已知的过滤方法或算法。在检测过程中，特征融合与抗干扰网络ffan一个目标上会生成多个置信度不同的预测的目标框，本实施例中使用nms算法去除这些多余的候选框并保留与目标最匹配的框,这样可以有效地减少虚警的数量。
[0078]
下文将对本实施例方法中的特征融合与抗干扰网络ffan进行验证实验。实验中使用了十几景gaofen
‑
3系统1m分辨率的机场影像。数据集包含4396张尺寸为500
×
500的飞机样本与及对应的标签文件，训练集与验证集的比例为4：1。此外，本实施例中使用数据集未使用的sar图像进行了飞机检测的独立测试实验。本实施例中实验均在ubuntu 18.04系统的pytorch框架下进行。所有网络都使用相同的数据集进行训练。每个模型都在两个rtx 2080ti gpu上进行100个epoch的训练,初始学习率为0.0005，批量大小batchsize为16。输入图像大小为512
×
512像素。为公平起见，本实施例中中的efficientdet,yolov4,ewfan,ffan四个模型均未使用预训练模型和自动数据增强功能，且在测试过程中不使用任何高级测试技术，例如softer
‑
nms或数据增强等。在测试阶段，这四个模型的nms阈值均设为0.5。
[0079]
本实施例中使用检测率(dr)和虚警率(far)两个评价指标来衡量网络的效果，具体计算公式如下：
[0080][0081]
其中，检测率表示网络正确检测到的飞机目标数量(c)与标签中飞机目标数量(l)之比，虚警率是虚警个数与网络输出的预测框数量(s)之比。
[0082]
为验证提出的算法的性能，本实施例中对gaofen
‑
3系统中的机场ⅰ(虹桥机场，12000
×
14400)和机场ⅱ(首都机场，14400
×
16800)进行了独立测试，并对飞机检测性能进行了分析评价。飞机检测结果如表1所示。
[0083]
表1：不同网络sar图像飞机检测结果对比。
[0084][0085]
机场ⅰ和机场ⅱ都是大型民用机场。机场中飞机目标具有种类多、尺寸偏小、分布很密集等特点，而且图像背景较复杂，这些都增大了检测难度。机场ⅰ和机场ⅱ分别有127架和143架飞机。综合两个机场的检测结果分析，efficientdet的检测效果最差，它的虚警率很高，平均虚警率达到了40.58％，平均检测率也偏低。与efficientdet相比，yolov4和ewfan的虚警率略有降低，分别为31.95％和18.20％，但是虚警率仍然偏高。ffan(本实施例)的检测效果最好，它的平均检测率和虚警率分别86.26％和8.42％，说明该网络能很好地提取特征以及提高抗背景干扰的能力。从测试时间上看，ffan(本实施例)的平均测试时间23.87s，与efficientdet相比只提高了0.83s,因此,ffan(本实施例)在测试速度基本不受影响的同时大大提升了整体检测效果，具有较大的工程应用价值。
[0086]
综上所述，目标检测是高分辨合成孔径雷达(sar)领域的热点问题，针对sar图像飞机目标背景复杂、特征具有多样性等问题，本实施例提出了一种高效的飞机目标自动检测方法，该方法基于特征融合与抗干扰网络ffan可以更加有效地提取与融合飞机特征，快速获取满意的检测结果，其检测率和虚警率均优于现有的efficientdet、ewfan、yolov4等飞机检测方法。该方法基于特征融合与抗干扰网络ffan可以用于sar图像目标检测，能在较短的测试时间内达到令人满意的检测效果，且也可以用于sar图像中其他密集目标的检测与识别，具有的实际应用价值。
[0087]
此外，本实施例还提供一种面向sar图像的目标自动检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向sar图像的目标自动检测方法的步骤。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述面向sar图像的目标自动检测方法的计算机程序。
[0088]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0089]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。