一种基于双子网络的红外弱小目标检测方法

1.本发明属于图像处理与模式识别技术领域，具体涉及到一种基于双子网络的红外弱小目标检测方法，可以应用到军事预警、医学成像病理分析、海上救援等诸多领域。


背景技术：

2.在实际的红外探测系统中，红外图像中的弱小目标检测技术在军事领域已成为成像制导、告警系统的核心技术。由于它只对目标的温度和本身的材料特性敏感，受环境的影响小，使得它在主流的探测技术中脱颖而出，成为传统可见光探测系统与雷达探测系统的有效补充或替代，所以检测的准确性和鲁棒性至关重要，检测方法直接关乎应用系统的性能，继而影响后继的跟踪识别精度。因此研究自动的、快速的、高效的红外弱小目标检测算法对红外图像进行处理迫在眉睫。
3.传统红外弱小目标检测算法背景预测的红外图像处理算法对红外背景的泛化能力较差，对于背景复杂、干扰较多的场景检测性能较差，而深度神经网络在人工智能领域已经有了蓬勃的发展，通用目标检测网络和语义分割网络应用到了多个领域。研究人员针对红外检测任务有了多种不同的尝试，相关工作有：娄康提出了一种结合深度学习和生物视觉机制的红外目标检测算法，构建生成式对抗神经网络，训练生成器产生红外图像样本，并通过gabor核函数模拟生物视觉神经单元响应对红外图像降噪处理(见参考文献：基于深度学习与生物视觉机制的红外弱小目标检测与跟踪方法研究[d].江苏科技大学,2020)；黄乐弘根据空中红外目标图像像素分辨率较低、图像边缘模糊和对比性较差的特点，对yolo v3模型进行了改进，从提高检测定位精度的角度改进了边缘损失函数(见参考文献：黄乐弘.基于深度学习的空中红外目标检测方法研究[j].中国科学院大学,2020)；杨其利[27]等人提出了一种以语义分割为基础，采用全卷积递归网络的弱小目标检测方法，通过在网络中添加残差模块来学习复杂背景下弱小目标的特征，核心思想是加入了递归操作等等(见参考文献：杨其利,周炳红,郑伟.基于全卷积递归网络的弱小目标检测方法[j].光学学报,2020,40(13):1
‑
13)。


技术实现要素：

[0004]
发明目的：针对通用目标检测网络和语义分割网络直接迁移到红外小目标检测任务中的性能大幅下降问题，本发明提供一种基于双子网络的红外弱小目标检测方法。
[0005]
技术方案：针对红外弱小目标图像特点，本发明提供一种基于双子网络的红外弱小目标检测方法。该双子网络包含两个子网络分别针对红外弱小目标检测的虚警率和漏检率的任务，最后输出层进行融合分割结果，进一步提高红外弱小目标检测精度和鲁棒性。
[0006]
该方法包括如下步骤：
[0007]
步骤1，分别构建子网络1和子网络2的主体框架；
[0008]
步骤2，输入一批训练图像，经过数据预处理，送入到网络中；
[0009]
步骤3，针对子网络1，计算漏检抑制损失函数，更新子网络1参数；针对子网络2，计
算虚警抑制损失函数，更新子网络2参数；
[0010]
步骤4，转至步骤2，直至训练收敛，得到最终的子网络1和子网络2；
[0011]
步骤5，在测试阶段，把测试图像分别输入最终的子网络1和子网络2，得到两组检测结果；
[0012]
步骤6，将来自于子网络1和子网络2的结果进行融合，输出最终检测结果。
[0013]
优选地，所述步骤1需要构造子网络1和子网络2两种网络结构，二者的区别在于：网络1旨在降低图像分割的漏检率，即学习较低的阈值，使得网络的召回率升高；网络2旨在降低图像的虚警率，即学习较高的阈值，导致网络的精确率升高。
[0014]
优选地，所述步骤2中，首先导入3通道的原始输入图像，将其调整尺寸到同一大小，并转换为单通道灰度图像送入子网络1和子网络2中。
[0015]
优选地，所述步骤3中，为了降低子网络1对目标的漏检率，基于smoothl1loss，设计了一种漏检抑制的损失函数，对漏检导致的损失具有更大的权重。
[0016]
优选地，所述步骤3中，为了降低子网络2对目标的虚警率，基于smoothl1loss，设计了一种虚警抑制的损失函数，对虚警导致的损失具有更大的权重。
[0017]
优选地，所述步骤4中，分别训练子网络1和2，保存收敛后的权重文件。
[0018]
优选地，所述步骤5中，将同样的测试图像分别输入到子网络1和2中，得到同一测试图像在不同模型下的输出。
[0019]
优选地，所述步骤6中，为了统一地逼近真实结果，设计了一种加权融合的形式来合并子网络1和子网络2的输出，得到最终的检测结果。
[0020]
与现有技术相比，本发明的有益效果在于：针对红外弱小目标图像特点，设计了一种基于双子网络的红外弱小目标检测方法；包含两个子网络分别针对红外弱小目标检测的虚警率和漏检率的任务，最后输出层进行融合分割结果，有效提高了红外弱小目标检测精度和鲁棒性。
附图说明
[0021]
图1为本发明所提供的基于双子网络的红外弱小目标检测方法的流程示意图。
[0022]
图2为本发明所构建的子网络1架构示意图。
[0023]
图3为本发明所构建的子网络2架构示意图。
[0024]
图4为本发明所采用的训练样本示意图。
[0025]
图5为本发明所提供的基于双子网络的红外弱小目标检测方法的检测结果可视化。
[0026]
图6为本发明所构建的子网络1和子网络2的损失值随迭代次数变化图。
具体实施方式
[0027]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0028]
本发明公开了一种基于双子网络的红外弱小目标检测方法，如图1所示，包括如下步骤：
[0029]
步骤1，分别构建子网络1和子网络2。子网络1设计思想包含两点：(1)为了避免图
[0048]
网络2的损失函数采用了smoothl1loss，由于该网络设计旨在降低目标的虚警率，所以基于smoothl1loss，网络2的损失函数如下式所示：
[0049]
md2＝smoothl1loss(s2，g)
·
g
[0050]
fa2＝smoothl1loss(s2，g)
·
(1
‑
g)
[0051]
loss2＝λ2md2+fa2[0052]
上述公式中：md1和fa1分别代表网络1的漏检率和虚警率，s
i
和g分别代表网络1的分割结果和输入图像的真值(ground truth)，λ1是md1的权重参数。
[0053]
步骤4，分别训练子网络1和子网络2。采用8gb ram，1.8ghz intel i7cpu处理器，tesla p40 gpu的硬件环境；ubuntu18.04，python和pytorch框架的软件环境。实验参数设置为：λ1＝100，λ2＝10；学习率每10次迭代降低20％，一共训练30个周期。
[0054]
步骤6，加权融合子网络1和子网络2的结果。两个网络各司其职，分别按照自己的损失函数进行网络训练来逼近真实的分割结果，为了使两者在整个分割任务中有机的结合起来，需要设计让网络信息在两者之间“流动”，统一地逼近真实结果，采用以下融合式：
[0055]
s＝αs1+βs2[0056]
其中α和β为实验设置的参数，根据实验效果取α＝0.1，β＝0.9最佳。
[0057]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0058]
由于缺少用于红外弱小目标检测的标准数据集，本实验采用了实际的红外图像和仿真合成的红外图像来验证算法的有效性。实际的红外图像来源于2类包含弱小目标的数据集，分别记为“all seqs”和“single”，其中“all seqs”包含3个序列共504张图像，“single”包含1个无序序列共100张图像，为了增加训练集的数量，实验从原本的图像中随机抽样128
×
128的图像块作为输入，将训练集扩充到10000张图像。相关合成用于训练的红外图像部分样本如图4所示。
[0059]
由于本方法分割结果为二值化图像，将图像分为目标和背景，因此采用二分类模型的评价标准，其中包含准确率precision，召回率recall和f1
‑
measure。计算公式如下所示：
[0060][0061][0062][0063]
其中precision指的是在预测为目标的所有数据中，真实目标的数据占的比例；recall指的是在所有的数据中，被成功预测为目标的数据所占的比例。不同分类场景的侧重点有所差别，precision和recall之间也没有必然的联系，因此需要将两者综合起来，记为f1
‑
measure。所以衡量算法的有效性应该注重f1
‑
measure的大小，单独看precision和recall都具有一定的局限性。实验中简记为：p(precision)，r(recall)和f1(f1‑
measure)，实验表格中
↑
代表该指标下该值越大越好。
[0064]
实验对比了当前基于深度学习的优势方法，包含fcn
‑
rstn，cgan，u
‑
net，deeplab
‑
v3网络。不同方法的实验结果如表1所示。表1显示了在不同数据集上precision、recall以及f1‑
measure指标的大小，三者的值都是越大越好。不同场景下的侧重点不同，采用f1‑
measure平衡了precision和recall的局限性。如表1中所示，本发明提出的双子网络在“allseqs”和“single”数据集上都取得了最高的f1‑
measure值，在可接受的召回率下有着较高的精确率，这显示了本发明提出的双子网络在像素级别更好地平衡了漏检率和虚警率。
[0065]
表1不同算法的结果对比
[0066][0067]
本发明提出的基于双子网络的红外弱小目标检测方法的分割效果如图5所示，图5每一行由左至右分别为红外图像样本，样本标签，子网络1的输出结果，子网络2的输出结果和最终的融合结果。由图像分割结果可以看出，子网络1为了达到降低漏检率的效果会将少许背景噪声点当作目标分割出来，增加了网络的虚警率，导致召回率较高。子网络2为了降低虚警率，导致目标与背景的灰度对比度降低，没有子网络1中目标与背景的对比度明显，最后可以通过加权融合“定位”来达到消除网络1中这些噪声点的效果，提升网络的精确率。训练过程中子网络1和子网络2的损失函数变化曲线如图6显示，子网络1和2的损失随着迭代次数的增加逐渐趋向于0，双子网络达到收敛效果，子网络1的收敛速度要快于子网络2的收敛速度。