基于时空融合的卫星序列图像运动小目标检测方法

本发明属于小目标检测，具体涉及一种基于时空融合的卫星序列图像运动小目标检测方法。

背景技术：

1、运动小目标，顾名思义，是一种移动的视觉对象，由于较长的相机距离和特殊的捕捉视角，通常看起来非常小。由于运动，小目标会不断地改变它们的位置。而且，在背景图像中，不像传统的物体，小目标看起来非常小(通常小于图像的1％)，以至于它们看起来没有明显的轮廓、形状、颜色和纹理。此外，它们经常受到过于复杂的背景的干扰，导致背景图像对比度低。综上所述，与现有的目标检测相比，运动小目标检测的主要难点在于传统的图像特征往往不易捕捉，在检测中容易消失。

2、为了可靠地检测运动小目标，研究者在现有方法中主要采用帧差法和光流法等策略，而在现有方法中，目标特征通常是通过人工构建的特征表示模型来提取的。这类检测方法在常见场景中通常可以取得较好的效果，但在一些背景变化频繁的场景中，其检测性能往往不稳定，甚至下降严重，对人为设计的特征高度敏感。

3、除了上述方法，近年来，基于神经网络(nn)的可学习模型克服了传统模型的不足，得到了一些新的发展。在这类方法中，通过对大量小目标检测样本的训练，基于神经网络的模型能够获得比传统模型更好的泛化能力和自适应能力，能够很好地适应视频场景的变化。此外，这些模型可以分为两个主要的子类型:单帧检测方法和多帧检测方法。

4、在技术思路上，单帧检测模型主要依靠一些特殊的策略来捕获小目标的图像空间域特征，如超分辨率、尺度感知和上下文建模。这些方法的一个明显的缺点是它们只利用了小目标的纯图像特征，而很少考虑到更多可用的不同于空域的特征，如时域特征。

5、为了进一步提高模型对运动小目标的检测性能，需要利用基于神经网络框架的多帧方案。除了空间域特征外，这些方法还试图从多帧图像中捕获小目标的时域运动特征。他们通常采用基于lstm的模型或基于3d卷积的模型来捕获时间特征。然而，它们通常只对时空特征进行简单的串联融合来加强时空特征的提取。

6、综上，现有运动小目标检测方案有三个明显的缺陷。首先，现有方法几乎没有特征学习能力。二是基于单帧神经网络的检测方法不能有效利用时域特征。最后是当前基于多帧神经网络的融合策略过于原始，无法充分发挥时空特征融合的优势，抑制了检测提升空间。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于时空融合的卫星序列图像运动小目标检测方法。

2、本发明采用的技术方案为：一种基于时空融合的卫星序列图像运动小目标检测方法，具体步骤如下：

3、s1、构建一种基于时空融合的运动小目标检测网络；

4、s2、基于步骤s1中所述检测网络运动目标特征提取模块的时间特征分支和空间特征分支对运动小目标进行初级特征提取；

5、s3、基于步骤s1中所述检测网络的时空特征融合模块对步骤s2提取到的运动小目标特征进行跨域、跨尺度融合；

6、s4、基于步骤s1中所述检测网络的运动小目标检测模块，通过损失函数定义，对步骤s3的输出特征进行目标预测、误差损失计算、迭代优化目标检测结果。

7、进一步地，所述步骤s1具体如下：

8、构建一种基于时空融合的运动小目标检测网络，包括：运动目标特征提取模块、时空特征融合模块、运动小目标检测模块，具体如下：

9、(1)运动目标特征提取模块包括：一个空间特征分支、一个时间特征分支和一个运动掩码模块。

10、其中，空间特征分支由dla-34主干构成，时间特征分支包括：三层3d卷积，3d池化，convblock模块和两个3×3的2d卷积。

11、(2)时空特征融合模块包括：一个stff子模块、两个istff子模块和一个idaup子模块。

12、其中，istff子模块是stff子模块的迭代版本，不仅需要融合时间特征和空间特征，还需要融合上层istff或stff的输出特征；idaup子模块融合stff和istff三个子模块的输出特征。

13、(3)运动小目标检测模块包括：一个基于centernet技术框架设计的小目标检测头；由经过参数训练的检测头最后完成对运动小目标的检测、分类和定位操作。

14、进一步地，所述步骤s1中，所述运动掩码模块具体如下：

15、所述运动掩码模块一一对应于不同的空间尺度。

16、首先，在给定时域采样窗口内的n个序列帧送入一组1×1卷积通道，再通过3×3卷积提取第n+1帧的背景特征，且n＝1～n-1。

17、然后第n帧的特征图减去第n+1帧的背景特征，以保留现有小目标的特征。再将帧间差分运算得到的n-1帧目标特征图拼接在一起。最后对这组连接的特征图执行额外的3×3卷积，其过程的表达式如下所示：

18、

19、其中，i表示对应于空间尺度上的层数，fn表示第n个输入帧，maski表示第i层的运动掩码，sigmoid表示激活函数，conv3×3表示卷积核为3×3的卷积操作，concat表示拼接操作，表示对位相减运算符。

20、进一步地，所述步骤s1中，所述时空特征融合模块具体如下：

21、在所述时空特征融合模块中，将小目标的空间语义特征和时间运动特征融合在一起，增强特征表征，先通过stff子模块及其迭代版本istff子模块进行时空融合，并运用idaup子模块对输出特征进行最终融合。

22、stff子模块包括两个交叉连接的特征融合分支，一个是针对空间特征，另一个是针对时间特征。空间特征和时间特征都需要单独通过两层1×1的卷积组件，其中包括一个批归一化和一个激活函数，这样的处理阶段可以统一表示为：

23、

24、其中，表示空间特征或时间特征，δ1，δ2分别表示silu激活函数和relu激活函数，bn表示批归一化层，表示所述处理阶段的输出。

25、将空间特征和时间特征交叉拼接在一起，随后每组拼接的时空特征继续分别通过可变形卷积dcn进行处理。之后，两个经过处理的时空特征继续连接在一起馈送到终端dcn。stff子模块对小目标两分支时空特征的最终融合输出可通过以下表示：

26、

27、其中，i表示对应于空间尺度上的层数，表示拼接操作，stff表示stff子模块，dcn表示可形变卷积，和分别表示第i层空间特征分支和时间特征分支的输出，zi表示第i层stff子模块的输出。

28、在总体结构上，istff子模块包括一个用于第i特征层的相同stff子模块和一个用于接收来自第i-1特征层的融合特征zi-1的额外模块，即和仍然输入到同一个stff模块。同时，zi-1通过一个式(2)所示conv-g模块，再通过sigmoid激活函数得到输出，将其与stff子模块的输出通过另一个终端dcn-g模块整合在一起，增强时空特征的跨层融合。则istff子模块对时空特征的跨尺度综合融合可以统一表示为：

29、

30、其中，stff(·)表示上一层的stff子模块，表示拼接操作。

31、经过stff和istff子模块融合后的多层时空特征，需要在idaup子模块中再次迭代集成，生成最终特征ftotal。聚合节点的总数m与有效特征捕获层的总数i相适应，即m＝i-1，这种多层次时空特征在iadup子模块中的迭代集成ftotal，可以通过以下表示：

32、ftotal＝ani-1(ani-2(zi，zi-1)，...，z1)      (5)

33、其中，zi表示istff(i＞1)或stff(i＝1)的输出，ani-1(·)表示第i-1个聚合节点上的一组可变形卷积操作。

34、进一步地，所述步骤s2中，具体如下：

35、在特征提取阶段中，所述运动目标特征提取模块利用空间特征分支和时间特征分支分别对运动小目标的空间特征和时间特征进行提取。

36、首先，将序列图像中的关键帧输入到空间特征分支中，该分支采用dla-34骨干网提取空间图像语义特征，该主干完全被设计为5级树结构，由一组下采样卷积块和另一组多层次ans组成。

37、将具有上采样聚合的多级ans组命名为dlaup。通过dlaup，逐级提取小目标的语义特征并融合在一起，从浅层到深层，只选择前三个层的特征，即s1，s2，s3作为经过dlaup的输出。该过程可以形式化地表示为：

38、s1，2，3＝dlaup(conv1(x)，conv1→2(x)，...，conv1→i(x))    (6)

39、其中，conv1→i(·)表示第i次下采样卷积块的输出，x表示单帧图像到第一个卷积块的原始输入，dlaup表示上述聚合多级ans操作。

40、s1，s2和s3分别通过与mask1，mask2和mask3进行hadamard乘法运算以进一步调制，mask1，mask2和mask3是在运动掩码模块中生成的三个运动掩码。这组特征调制可以统一表示为：

41、

42、其中，表示hadamard运算符，maski表示第i层运动掩码，si表示式(6)中第i层经过dlaup模块的特征输出，表示该层空间特征分支的输出。

43、然后，同时将序列图像输入到时间特征分支，该分支设计了三层特征提取器，从多帧图像中捕获小目标的运动特征。每层特征提取器由一组3d卷积和池化组件组成，池化组件完成了从三维特征到二维特征的转换。这三层运动特征被上述三个运动掩码调制，即mask1，mask2和mask3。随后，将调制后的运动特征输入到一组convblock模块中提取高级特征。通过这组卷积块，可以重新生成一组新的特征输出ti。其表达式如下所示：

44、

45、其中，maski与式(7)一致，表示序列帧对组件conv3d1的输入，convblock表示由卷积构成的卷积模块，pooling表示3d池化层。

46、通过多空间尺度的运动特征提取，尽可能充分地捕捉到所有小目标的运动特征，最后将这些特征以式(9)的交互方式融合在一起：

47、

48、其中，up(·)表示上采样操作。

49、进一步地，所述步骤s3具体如下：

50、在特征提取阶段中，所述运动目标特征提取模块得到了空间特征和时间特征

51、在特征融合阶段，所述时空特征融合模块首先在第一层开始进行时空特征融合，即将和输入到stff子模块进行融合，得到融合特征z1。随后在第二层展开时空特征融合，即将和z1输入到istff子模块进行融合，得到融合特征z2。同理，在第三层运用istff子模块进行三个特征的时空融合得到融合特征z3。最后将z1，z2，z3输入iadup子模块中进行迭代融合，得到最终的特征ftotal。

52、进一步地，所述步骤s4具体如下：

53、在检测阶段，所述运动小目标检测模块使用一个无锚检测器，其来自centernet。它包括三个独立的部分：热图分支，偏移分支和边界框分支。每个分支由一个3×3卷积、一个激活函数relu和一个1×1卷积组成。检测器分别对综合的时空特征ftotal进行三个独立的分支解码，得到小目标热图、边界框和位置偏移量。同时，根据小目标的地面真值样本，总的损失losstotal由下式计算：

54、losstotal＝λlhm+ηlbox+γloffset    (10)

55、其中，λ，η，γ表示三个超参数，用来平衡三个损失项，在训练中被分别设置为1、0.1和1，lhm、lbox和loffset表示训练损失的三个定义，它们分别对应于热图、边界框和位置偏移。lbox和loffset都采用标准l1 loss，在losstotal中，lhm是关键损失，其损失定义如下：

56、

57、其中，α和β表示两个超参数，分别设置为2和4，ns表示样本数，表示预测值，yxyc表示标注真实值。最后模型根据计算的损失，运用梯度下降的方式对参数进行迭代优化，以得到最终的检测结果。

58、本发明的有益效果：本发明的方法首先构建一种基于时空融合的运动小目标检测网络，提出了一种运动掩码模块和一种时空特征融合模块，运用检测网络的时间特征分支和空间特征分支对运动小目标进行特征提取，运用时空特征融合模块进行跨域、跨尺度融合，通过损失函数定义，对输出特征进行目标预测、误差损失计算、迭代优化目标检测结果，最终达到有效检测运动小目标的目的。本发明的方法使运动小目标检测更加精确、具有鲁棒性，可有效地检测由卫星采集的运动小目标序列图像，检测目标区域中出现的运动小目标，可以应用在卫星监视、交通管理等重要应用领域。