一种基于注意力机制卷积神经网络的红外弱小目标检测方法

1.本发明涉及一种基于注意力机制卷积神经网络的红外弱小目标检测方法，属于数字图像处理和计算机视觉领域，主要涉及深度学习和目标检测技术，在各类基于图像的应用系统中有广阔的应用前景。


背景技术：

2.红外弱小目标检测技术被广泛应用于精确制导、反导弹技术、空间碎片搜索等领域。在红外预警系统的实际运用中，弱小目标检测算法的稳定性、准确性和实时性决定了这一系统的可靠性和实用性。在实际应用中，各种物体存在的不同结构有不同的辐射强度分布，同时受温度、气候等因素影响，使得红外图像背景复杂。比如在空天背景下，卷云、带状云、絮团等会干扰对小目标的检测。在山地背景下，由于地面存在树木、建筑等，背景的辐射将变得更为复杂。在海天背景下，海面的波浪不断变化，使得红外辐射极不稳定；而海面光线反射等现象也造成辐射效果的复杂变化，这些都会对检测造成干扰。因此，在复杂背景下快速准确检测弱小目标是一项具有挑战性和研究意义的任务。
3.一些早期的研究方法通过背景估计得到目标：通过滤波、形态学等方法得到背景，再通过原图与背景之差得到目标。基于最大-中值滤波和最大-均值滤波的方法(参见文献：迪什潘德孟等，用于小目标检测的最大-中值和最大-均值滤波器，国际光学工程学会光学科学、工程和仪器国际研讨会论文集，1999:74-83.(deshpande s d,meng h e,venkateswarlu r,et al.max-mean and max-median filters for detection of small targets[c]//spie's international symposium on optical science,engineering,and instrumentation.international society for optics and photonics,1999:74-83.))是一种经典的小目标检测方法，通过选择当前像素邻域下某些特定方向位置的中值或者均值来替代当前操作的像素，以此滤除小目标；但对于高斯白噪声较为敏感，容易造成虚警。一些基于形态学的经典小目标检测方法(参见文献：白相志等，新顶帽变换及其在红外弱小目标检测应用中的分析研究，模式识别，2010：43(6)：2145-2156.(bai x,zhou f.analysis of new top-hat transformation and the application for infrared dim small target detection[j].pattern recognition,2010,43(6):2145-2156.))利用顶帽变换增强目标抑制背景。形态学运算简单快速，但在处理复杂场景时，容易受到强烈边缘等干扰从而虚警过高；同时形态学算子的尺寸也大多固定，不能自适应地根据场景调整。一些研究利用弱小目标灰度分布差异性突出的特点，通过设计测度增强目标、抑制背景，从而实现检测(参见文献：邓贺等，基于局部权重差异度量的红外小目标检测方法，美国电气电子工程师学会地理与遥感汇刊，2016,54(7):4204-4214.(deng h,sun x,liu m,et al.small infrared target detection based on weighted local difference measure[j].ieee transactions on geoscience and remote sensing,2016,54(7):4204-4214.))。这类方法通常运行速度较快，但假设比较单一，在复杂环境下鲁棒性较弱。近年，根据弱小目标分布较少的稀疏特点，一些基于稀疏表示的检测方法被提出(参见文献：高陈强等，用在单幅
图像中检测小目标的红外分块图像模型，美国电气电子工程师学会图像处理汇刊，2013,22(12):4996-5009.(gao c,meng d,yang y,et al.infrared patch-image model for small target detection in a single image[j].ieee transactions on image processing,2013,22(12):4996-5009.))，但基于优化理论的模型相对复杂，造成计算量过大，实用性较差。
[0004]
近年来，深度学习技术在红外弱小目标检测领域得到了发展。应用于该领域的神经网络方法主要是从一般物体的检测网络中发展而来，根据提取特征的次数主要分为一阶段检测算法和多阶段检测算法。一阶段检测算法在检测过程中只对目标提取一次特征，此类算法检测速率高，但精度相对低一点，主要有ssd，yolo系列等。多阶段检测算法主要以r-cnn系列网络为代表，目前具有代表性的两阶段检测网络是faster r-cnn(参见文献：任少卿等，更快的r-cnn：基于区域提案网络的实时目标检测，美国电气与电子工程师协会模式分析与机器智能学报，2017，1137-1149.(ren s,he k,girshick r,et al.faster r-cnn:towards real-time object detection with region proposal networks[j].ieee transactions on pattern analysis&machine intelligence,2017,39(6):1137-1149.))，其主要思想是先寻找可能存在目标的区域，通过锚盒机制来得到筛选后的候选区域，然后通过参数共享，统一分类和回归，进而得到最终的检测结果。liu等人提出一种基于相关滤波器的多层卷积网络，将检测问题视为二分类问题，级联多个弱分类器并得到相对准确的结果(参见文献：刘强等，用于热红外物体跟踪的深度卷积神经网络，系统知识基础，2017,134：189-198.(liu q,lu x,he z,et al.deep convolutional neural networks for thermal infrared object tracking[j].knowledge-based systems,2017,134:189-198.))。deng等人考虑到成像系统本身存在的噪声，提出了一种由变换、局部卷积和全卷积三种结构组成的多尺度卷积神经网络，对于成像系统的噪声具有很强的鲁棒性(参见文献：邓璐等，用于空间红外点物体判别的多尺度卷积神经网络，美国电气与电子工程师协会方法，2019,7:28113-28123.(deng q,lu h,tao h,et al.multi-scale convolutional neural networks for space infrared point objects discrimination[j].ieee access,2019,7:28113-28123.))。
[0005]
然而，当前的深度学习方法多针对于传统的大目标检测，未考虑弱小目标的尺寸等特征和复杂背景存在的干扰，导致在弱小目标检测中表现不佳，出现漏检错检现象。本发明认为弱小目标的尺寸分布是网络设计和特征提取时需考虑的重要信息，为了实现快速且有效的弱小目标检测，由检测目标的特性出发设计深度学习网络模型，本发明提出了一种基于注意力机制卷积神经网络的红外弱小目标检测方法。


技术实现要素：

[0006]
1、目的：弱小目标检测是红外预警与制导系统中的重要环节，现有的检测方法在简单背景下能较有效地检测目标，但在复杂环境中可能会因为干扰过大出现无法检测出目标或虚警过高的现象，且检测实时性较差。为了解决上述问题并弥补传统方法的不足，本发明提出了一种基于注意力机制卷积神经网络的红外弱小目标检测方法，结合特征融合模块、扩大感受野模块、注意力模块，实现高精度快速检测。模型根据红外弱小目标图像的特性进行设计，在提高检测精度、降低虚警率以及运行时间上有了明显的改善。
[0007]
2、技术方案：为了实现低虚警率的快速精确检测，本发明的整体思路是构建轻量级网络框架保证检测速度，结合扩大感受野模块、注意力模块、特征融合模块增强对目标特征提取的能力，搭建一个针对红外弱小目标的神经网络框架；根据损失函数训练模型至接近收敛；最后，使用训练好的模型进行测试，得到检测结果。本发明的算法技术思路主要体现在以下方面：
[0008]
1)针对目标尺寸分布位于3
×
3～5
×
5之间的特性，设计轻量级网络，提高对目标特征的提取效率；
[0009]
2)设计注意力模块，提高网络的特征提取效率，在空间上更关注目标可能出现的区域，在特征通道上更关注有区分度的特征；
[0010]
3)设计扩大感受野模块，与网络框架结合，实现更大感受野下的特征提取；
[0011]
4)设计特征融合模块，针对弱小目标特点，融合目标的低级特征和高级语义特征，实现精度更高的分割检测效果。
[0012]
本发明涉及一种基于注意力机制卷积神经网络的红外弱小目标检测方法，该方法具体步骤如下：
[0013]
步骤一：搭建基于注意力机制的卷积神经网络。首先使用骨干网络对输入图像进行特征提取；提取的三层特征经过注意力模块进行特征增强；随后通过扩大感受野模块进行感受野增强；然后通过特征融合模块进行高低级特征融合；最后通过全卷积网络逐像素预测，得到全图像像素级别的概率预测图。
[0014]
步骤二：构造损失函数对网络进行训练。利用得到的预测结果与像素级标注图像进行损失计算，以实现对网络参数的反馈训练。
[0015]
输出：用训练好的神经网络处理红外图像。在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
[0016]
其中，所述步骤一具体如下：
[0017]
1.1：构建骨干网络对输入图像进行特征提取。骨干网络主要由三个残差块单元构成，每个残差块单元由不同尺度的卷积单元与残差块组成，以提取不同尺度的特征。输入图像首先经过一个卷积核大小为3
×
3，步长为1的卷积单元，生成通道数为16的特征图；接着依次通过3个残差块单元，生成通道数为32、64、128的三组特征图。
[0018]
1.2：注意力模块。本发明设计了针对弱小目标特征的注意力模块，考虑到浅层特征保留了更多的构造目标边界的细节信息，深层特征保留了更多的定位目标语义的信息，对不同层特征进行区分处理，以增强与小目标相关的特征信息。首先，针对三层特征的感受野不同，将空间注意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7
×
7、5
×
5、3
×
3。同时，由于浅层特征图包含着更多的纹理细节信息，因此浅层特征的处理首先应用通道注意力机制，接着应用空间注意力机制。然而对于深层特征，由于其体现着更多的语义信息，处理时首先应用空间注意力机制，然后再应用通道注意力机制。
[0019]
1.3：扩大感受野模块。在卷积神经网络中，网络每一层输出特征图上的单像素点能映射出的输入图像大小被定义为感受野，上下文信息对于目标的识别与检测具有十分重要的意义，因此，对特征图进行扩大感受野操作是一种常见的提高检测精度的手段。扩大感受野方法主要有三种：(1)增加池化层，但池化过程会造成部分信息损失，导致检测的准确度。(2)增加卷积核的大小，但这将相应增加卷积层的参数。(3)增加卷积层的个数，但这可
能导致梯度消失的问题。本发明综合考虑以上三种情况，设计感受野模块以适应红外弱小目标检测任务。考虑到本发明中由骨干网络得到的特征图并未经过特别深层的卷积处理，其感受野大小适中，本发明设计4个分支结构，使用1
×
1、3
×
3、5
×
5卷积，合理扩大感受野。首先对处理后的前三个分支进行拼接操作，对拼接后的特征信息再进行1
×
1卷积降维，最后与第四个分支相加，得到扩大了感受野后的特征图。
[0020]
1.4：特征融合模块。综合考虑红外弱小目标各层特征图表征的不同信息，本发明增加了代表更多语义信息的深层特征在最终特征图中的比重，即在对各层特征进行融合后，再与进行特征融合中原有的深层特征进行逐点加和操作，以增强图像的语义信息。对于深层特征，本发明在两次卷积操作之间，增加了自适应平均池化的操作，有利于在前后通道数不改变的前提下，在特征信息中保留更多的背景信息。然后将处理后的深层特征与原有的浅层特征相乘，同理，处理后的浅层特征也与原有的深层特征相乘，接着将两者结果进行拼接。最后，将拼接后的特征与原有的深层特征进行加法操作。在整个网络中，一共提取了三个尺度的特征，首先在最深层的两层特征之间进行特征融合操作，然后将融合的结果与浅层特征再次进行同样的特征融合操作，以得到最终应用于结果预测的特征图。
[0021]
1.5：通过全卷积网络进行检测。将融合后的特征利用全卷积网络(fcn)逐像素预测，得到全图像像素级别的概率预测图。
[0022]
其中，所述步骤二具体如下：
[0023]
2.1：损失函数由两部分构成：交并比(iou)损失与虚警率(fa)损失，l＝l
iou
+l
fa
。交并比是指产生的预测区域与真实目标区域的交叠率，即是指两者的交集和并集的比值。我们训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确。由此，定义交并比损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。虚警率是指错判为目标的背景区域占预测区域的比例。由此，定义虚警率损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算。将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算损失。
[0024]
2.2:本发明采用adagrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4
，训练中自适应更新学习率，通过梯度反向传播调整网络参数，使网络参数向损失函数降低的方向优化，300轮训练后损失函数接近收敛。
[0025]
3、优点及功效：本发明提出一种基于注意力机制卷积神经网络的红外弱小目标检测方法，从红外弱小目标的尺度分布特性出发，设计一种轻量级网络框架；通过注意力机制模块，对不同层特征区分处理，以增强与小目标相关的特征信息；通过扩大感受野模块，合理扩大针对红外弱小目标的网络感受野，提高检测精度；通过特征融合模块，增加了代表更
多语义信息的深层特征在最终特征图中的比重，更好地保留小目标高级特征。模型的设计符合红外弱小目标图像的特性，在提高检测精度、降低虚警率以及运行时间上有了较为明显的改善，具有广阔的实用前景。
附图说明
[0026]
图1为本发明提出的基于注意力机制卷积神经网络的红外弱小目标检测方法的原理框图。
[0027]
图2为注意力模块的基本结构。
[0028]
图3为扩大感受野模块的基本结构。
[0029]
图4为特征融合模块的基本结构。
[0030]
图5a-5h是展示了本发明在实际场景中的检测结果；其中，图5a、5b、5e、5f是原始红外图像，小目标由白色方框标记出；图5c、5d、5g、5h是本发明方法的检测结果。
具体实施方式
[0031]
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
[0032]
本发明提出了一种利用深度学习的红外弱小目标检测方法，原理框图如图1所示，具体实施步骤如下：
[0033]
步骤一：搭建基于注意力机制的卷积神经网络，网络的基本结构如图1所示；
[0034]
步骤二：构造损失函数对网络进行训练；
[0035]
输出：用训练好的神经网络处理红外图像。在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
[0036]
其中，所述步骤一具体如下：
[0037]
1.1：构建骨干网络对输入图像进行特征提取。骨干网络主要由三个残差块单元构成，每个残差块单元由不同尺度的卷积单元与残差块组成，以提取不同尺度的特征。每个卷积单元由卷积层，批量归一化层、leakyrelu操作组合而成。输入图像(设宽w，长h)首先经过一个卷积核大小为3
×
3，步长为1的卷积单元，生成通道数为16的特征图f(宽w，长h)；接着依次通过3个残差块单元，生成通道数为32、64、128的三组特征图f1、f2、f3。f通过第一个残差块单元生成特征图f1(宽长)，随后f1送入第二个残差块单元生成下一尺度特征图f2(宽长)，随后f2送入第三个残差块单元生成f3(宽长)。每个残差块单元先使用1次卷积核大小为3
×
3，步长为2的卷积单元，目的是对图像进行下采样；再经过2个残差块提取特征，得到该尺度的特征图；每个残差块由2个卷积单元组成，卷积核大小为1
×
1、步长为1，第一个卷积单元将特征图通道数降为原有一半，第二个卷积单元恢复原特征图通道数，与输入进行残差连接。本发明使用的骨干网络参数如表1所示，表中仅列出卷积与残差连接操作，批量归一化层、leakyrelu操作忽略。
[0038]
表1骨干网络参数设置
[0039][0040]
1.2：注意力模块。本发明设计了针对弱小目标特征的注意力模块，考虑到浅层特征保留了更多的构造目标边界的细节信息，深层特征保留了更多的定位目标语义的信息，对不同层特征进行区分处理，以增强与小目标相关的特征信息。首先，针对1.1中提取的三层特征f1、f2、f3的感受野不同，将空间注意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7
×
7、5
×
5、3
×
3。同时，由于浅层特征图包含更多的纹理细节信息，因此浅层特征(f1、f2)的处理首先应用通道注意力机制，接着应用空间注意力机制。然而对于深层特征(f3)，由于其体现着更多的语义信息，处理时首先应用空间注意力机制，然后再应用通道注意力机制。具体模块设计如图2所示。
[0041]
1.3：扩大感受野模块。本发明针对红外弱小目标检测任务设计感受野模块，考虑由骨干网络得到的特征图并未经过特别深层的卷积处理，其感受野大小适中，本发明设计4个分支结构，使用1
×
1、3
×
3、5
×
5卷积，合理扩大感受野。首先，卷积层、relu操作、批量归一化层构成卷积单元；第一分支使用1
×
1卷积单元，第二分支依次使用1
×
1卷积单元、1
×
3卷积单元、3
×
1卷积单元、3
×
3膨胀卷积单元，第三分支依次使用1
×
1卷积单元、1
×
5卷积单元、5
×
1卷积单元、3
×
3膨胀卷积单元，第四分支使用1
×
1卷积单元。原始特征图分别经过四个分支，对前三个分支的输出结果在通道维度上进行拼接操作，对拼接后的通道数增加的特征图使用1
×
1卷积降维，使通道数等于原始输入通道数。最后将前三分支拼接后降维的结果与第四个分支进行逐点加和操作，得到扩大感受野后的特征图具体模块设计如图3所示。
[0042]
1.4：特征融合模块。综合考虑红外弱小目标各层特征图表征的不同信息，本发明增加了代表更多语义信息的深层特征在最终特征图中的比重，即在对深层和浅层两组特征进行融合后，再与原有的深层特征进行逐点加和操作，以增强图像的语义信息。特征融合模块的具体实现方式如图4所示。从结构示意图可以看到，对扩大感受野后的由浅及深三层特
征第一步在最深层的两层特征之间进行特征融合操作：先对其中较深层特征使用卷积核大小为1
×
1、步长为1的卷积单元进行上采样，使特征通道数与保持相同，之后使用自适应平均池化操作，有利于在特征信息中保留更多的背景信息，然后使用两个卷积核大小为1
×
1、步长为1的卷积单元进行处理；对其中较低层特征使用两个卷积核大小为1
×
1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征相乘，处理后的浅层特征也与原有的深层特征相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征进行加法操作，至此完成与特征的融合操作。第二步，将第一步融合的结果与最浅层特征再次进行特征融合操作：先对其中较深层特征使用卷积核大小为1
×
1、步长为1的卷积单元进行上采样，使特征通道数与保持相同，之后使用自适应平均池化操作，然后使用两个卷积核大小为1
×
1、步长为1的卷积单元进行处理；对其中较低层特征使用两个卷积核大小为1
×
1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征相乘，处理后的浅层特征也与原有的深层特征相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征进行加法操作，至此完成第一步得到的特征与特征的融合操作，得到最终应用于结果预测的特征图。
[0043]
1.5：通过全卷积网络进行检测。将融合后的特征利用全卷积网络(fcn)逐像素预测，融合特征经过3
×
3卷积单元后通道数降至原始的四分之一，再经过1
×
1卷积单元降维通道数为1，输出全图像像素级别的概率预测图。
[0044]
其中，所述步骤二具体如下：
[0045]
2.1：损失函数由两部分构成：交并比(iou)损失与虚警率(fa)损失，l＝l
iou
+l
fa
。交并比是指产生的预测区域与真实目标区域的交叠率，是指两者的交集和并集的比值。训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确。由此，定义交并比损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。虚警率是指错判为目标的背景区域占预测区域的比例。由此，定义虚警率损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算。给出以上损失函数定义后，将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算损失。
[0046]
2.2：本发明采用adagrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4
，训练中自适应更新学习率。每次训练根据损失函数通过梯度反向传播调整网络
参数，使网络参数向损失函数降低的方向优化，300轮训练后损失函数接近收敛。在该过程中，使用梯度下降法进行反向传播，通过求导链式法则，将损失函数对某一网络参数求偏导来进行参数更新：其中θi为反向传播前的网络参数，θ
′i为反向传播更新后的网络参数，η为学习率，l为损失函数。
[0047]
图5a-是本发明在实际红外场景中的应用，其中，图5a、5b、5e、5f是在原始红外图像中，小目标的位置用白框标出，图5c、5d、5g、5h为相应的检测结果。用于实验的图像来自于不同的红外场景，其中的小目标大多数非常暗淡和微小，但实验结果不仅仅有效地在低虚警率下检测出目标，而且在运算时间上相比于其他方法有较大优势，实现了快速准确检测的目标，这充分说明本发明的有效性，并可广泛应用于各类红外弱小目标检测系统，具有广阔的市场前景与应用价值。