一种基于超像素和可形变卷积的红外弱小目标检测方法与流程

本发明属于目标检测，具体涉及一种基于超像素和可形变卷积的红外弱小目标检测方法。

背景技术：

1、目标检测(object detection)技术属于计算机视觉领域，其目的主要是在图像或视频中找出所有感兴趣的目标，其在交通、视频监控以及军事等领域都有广泛的应用。传统的目标检测方法主要包括形态学处理法、滑动窗口法和hog检测器法，这些方法较为简单，其检测性能和结果都相对有限。

2、近年来深度学习越来越多地应用于目标检测任务中，rcnn网络首次通过卷积神经网络应用于目标检测任务中，通过生成多个候选区域提取特征向量，随后将这些特征向量输入到一个svm分类器中，预测出每个候选区域中所含物体的概率值。在复原实验中，现有的目标检测任务存在以下问题：典型的红外弱小目标有几个突出的特点：一是目标的尺寸较小、亮度较低，容易淹没在背景中或被噪声干扰；二是目标的颜色、纹理、形状信息难以提取，一些典型的基于颜色、形状和纹理的方法，例如矩特征、轮廓特征、局部不变特征点等方法均难以应用，物体之间的可区分性较低；三是由于红外成像的机理，当背景中出现和目标红外辐射特性较为相似的区域，便会当作虚假目标处理，这些虚假目标往往难以鉴别。红外目标检测比可见光目标检测更易受到干扰，尤其是形状类似的发热源带来的干扰更加严重；四是红外成像传感器本身的分辨率较低，最后获得红外图像存在一定模糊，并且受到的噪声干扰严重，导致图像的信噪比低，低信噪比又会使得在特征提取过程中掺入较多的错误信息。

技术实现思路

1、针对现有的目标检测方法存在的对红外弱小目标检测率低、虚警率高的问题，本发明提出一种基于超像素和可形变卷积的红外弱小目标检测方法，本发明可在红外弱小目标尺寸小、相对背景对比度低的情况下从原始图像中将红外弱小目标可能存在的区域分割出来，对特定区域进行目标检测，同时引入可形变卷积特征提取骨干网络实现多尺度特征提取，更加自适应地实现红外弱小目标检测，进而可以在实际红外图像处理系统中进行广泛应用。

2、本发明为解决技术问题所采用的技术方案如下：

3、本发明的一种基于超像素和可形变卷积的红外弱小目标检测方法，主要包括以下步骤：

4、步骤s1：原始图像采集；

5、步骤s2：对原始图像进行聚类超像素分割，得到多个超像素块序列；

6、步骤s3：将超像素块序列输入可形变卷积特征提取骨干网络中，得到多个不同尺度的特征图；

7、步骤s4：将多个不同尺度的特征图输入多尺度特征融合网络中，得到多个不同尺度的融合特征图；

8、步骤s5：使用锚框对多个不同尺度的融合特征图进行检测，并使用k均值聚类方法对得到的所有锚框进行优化，将红外弱小目标可能存在的所有区域都提取出来，得到最终检测结果。

9、进一步的，所述原始图像通过现有红外态场景仿真系统生成，对原始图像进行人工标注，并划分为训练集、验证集和测试集。

10、进一步的，所述步骤s2的具体操作流程如下：

11、步骤s2.1：在间隔s个像素的规则网格上进行采样，得到超像素块；

12、步骤s2.2：将采样中心移动到与3×3邻域中的最低梯度位置相对应的位置；

13、步骤s2.3：引入欧式距离d计算每个像素的最近聚类中心，在超像素中心周围区域2s×2s中进行类似像素搜索；

14、步骤s2.4：根据每个像素的新标签重新计算每个聚类的中心；采用l2范数计算新的聚类中心与前一次聚类中心的残差，比较残差与残差阈值的大小：若残差大于残差阈值，则重复计算欧式距离d和聚类中心；若残差小于残差阈值，则停止迭代，最终得到超像素预处理后的超像素块序列。

15、进一步的，所述可形变卷积特征提取骨干网络由可形变卷积层、批量归一化层、激活函数silu、三个卷积层和修正线性单元relu组成；将超像素块序列输入可形变卷积特征提取骨干网络中，依次经过可形变卷积层、批量归一化层、激活函数silu、三个卷积层和修正线性单元relu处理后，获得多个不同尺度的特征图。

16、进一步的，所述步骤s3中，在多尺度特征提取过程中，在卷积核中引入了偏移量，所引入的偏移量是通过在相同的输入特征图上应用卷积层获得的，卷积核与当前卷积层具有相同的空间分辨率和扩展；生成偏移量与输入特征图具有相同的空间分辨率；在训练过程中，输出特征图的卷积核和生成偏移量的卷积核同时进行学习，其计算公式如下：

17、y＝wpn*(xp0+xpn+δxpn)

18、其中，y表示输出特征图，w表示采样值的和，x表示输入特征图，p0为卷积网格中的每一个点，pn是点p0在卷积核范围内的偏移量，n＝1,…,n。

19、进一步的，所述多尺度特征融合网络由3个1×1卷积层、3个3×3卷积层、3个上采样层、3个融合模块和3个特征提取模块组成；1×1卷积层用于改变特征通道数，3×3卷积层用于对特征图进行下采样，上采样层用于将低分辨率特征图转换为高分辨率特征图，融合模块用于将相同分辨率的深、浅特征图拼接融合，特征提取模块用于从融合后的特征图中提取特征信息。

20、进一步的，所述步骤s4的具体操作流程如下：

21、步骤s4.1：多个不同尺度的特征图分别为fip1、fip2、fip3和fip4，将特征图fip4进行上采样后与特征图fip3进行多尺度融合，得到特征图fcp1；

22、步骤s4.2：将特征图fcp1进行上采样后与特征图fip2进行多尺度融合，得到输出特征图fop1；

23、步骤s4.3：将输出特征图fop1进行上采样后与特征图fip1进行多尺度融合，得到输出特征图fop2；

24、步骤s4.4：对输出特征图fop2进行卷积处理，与进行上采样后的输出特征图fop1进行多尺度融合，得到输出特征图fop3。

25、本发明的有益效果是：

26、红外图像成像相较于可见光图像更加复杂，受设备、环境的影响其获取难度较大，故并不能使用传统的大目标检测方法。另外，现有的基于cnn(卷积神经网络)的目标检测局限于模型体量过大、变换方式不稳定问题，这些问题源于cnn模块的卷积单元只能在固定位置对输入特征图进行采样，同一cnn层中所有激活单元的感受野大小是相同的，缺乏处理各种几何形状的内部机制。由于不同的位置可能对应不同尺度或形状的物体，传统的cnn并不适用于更加精细的目标检测任务。因此，本发明提出了一种基于超像素和可形变卷积的红外弱小目标检测方法，使用超像素方法对红外弱小目标可能存在的区域进行分割，经过可形变卷积特征提取骨干网络对目标特征进行自适应提取，并使用基于锚框的方法对目标进行检测，大大提高了检测能力，具有更好的检测效果。

技术特征：

1.一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述原始图像通过现有红外态场景仿真系统生成，对原始图像进行人工标注，并划分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述步骤s2的具体操作流程如下：

4.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述可形变卷积特征提取骨干网络由可形变卷积层、批量归一化层、激活函数silu、三个卷积层和修正线性单元relu组成；将超像素块序列输入可形变卷积特征提取骨干网络中，依次经过可形变卷积层、批量归一化层、激活函数silu、三个卷积层和修正线性单元relu处理后，获得多个不同尺度的特征图。

5.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述步骤s3中，在多尺度特征提取过程中，在卷积核中引入了偏移量，所引入的偏移量是通过在相同的输入特征图上应用卷积层获得的，卷积核与当前卷积层具有相同的空间分辨率和扩展；生成偏移量与输入特征图具有相同的空间分辨率；在训练过程中，输出特征图的卷积核和生成偏移量的卷积核同时进行学习，其计算公式如下：

6.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述多尺度特征融合网络由3个1×1卷积层、3个3×3卷积层、3个上采样层、3个融合模块和3个特征提取模块组成；1×1卷积层用于改变特征通道数，3×3卷积层用于对特征图进行下采样，上采样层用于将低分辨率特征图转换为高分辨率特征图，融合模块用于将相同分辨率的深、浅特征图拼接融合，特征提取模块用于从融合后的特征图中提取特征信息。

7.根据权利要求1所述的一种基于超像素和可形变卷积的红外弱小目标检测方法，其特征在于，所述步骤s4的具体操作流程如下：

技术总结
一种基于超像素和可形变卷积的红外弱小目标检测方法，属于目标检测领域，包括原始图像采集；对原始图像进行聚类超像素分割得到多个超像素块序列；将超像素块序列输入可形变卷积特征提取骨干网络中得到多个不同尺度的特征图；将多个不同尺度的特征图输入多尺度特征融合网络中得到多个不同尺度的融合特征图；使用锚框对多个不同尺度的融合特征图进行检测，并使用K均值聚类方法对所有锚框进行优化，将红外弱小目标可能存在的所有区域都提取出来，得到最终检测结果。本发明可在红外弱小目标尺寸小、相对背景对比度低的情况下从原始图像中将红外弱小目标可能存在的区域分割出来，提高了红外弱小目标检测效果，降低了红外弱小目标检测的虚警率。

技术研发人员：赵岩,王生杰,郑裕隆,黄艳金
受保护的技术使用者：中林信达（北京）科技信息有限责任公司
技术研发日：
技术公布日：2024/5/10