面向无人机视频数据的弱监督显著性目标检测方法及系统

本发明属于计算机视觉检测，尤其涉及面向无人机视频数据的弱监督显著性目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、近年来，全监督的视频显著性目标检测已经得到了相关研究人员的广泛研究。由于全监督的标注提供充分而准确的监督信息，现有的显著性检测模型可以相对轻易地获得令人瞩目的性能。然而，全监督信息的获取代价是非常高昂的，难以高效地迁移到复杂且多样的计算机视觉任务中。由此，研究人员开始探索如何使用低成本的标注信息甚至不使用带有标注的监督信息实现深度学习模型的训练，视频显著性目标检测也面临类似问题。弱监督标签所提供的监督信息十分有限，如何最大化利用有限的显著性信息，在视频显著性目标检测中应用弱监督信息实现达到全监督训练的模型的检测效果，是本领域技术人员亟待解决的问题。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了面向无人机视频数据的弱监督显著性目标检测方法及系统，分别对视频的rgb图像和光流图进行浅层特征和深层特征的提取，将不同模态的浅层特征进行模态对齐和校准，能够更加关注每个模态的显著性信息；不同模态的深层特征进行跨模态融合，充分融合了深层特征的显著性语义信息，然后基于跨模态浅层增强特征和跨模态深层交互特征进行融合得到检测结果，能够很好地抑制视频中复杂背景信息，提高了视频显著性目标检测的准确性。

2、为实现上述目的，本发明的第一个方面提供面向无人机视频数据的弱监督显著性目标检测方法，包括：

3、获取视频片段的rgb图像、光流图像；

4、分别对所述rgb图像、光流图像进行多尺度的特征提取，得到rgb图像的浅层特征和深层特征，光流图像的浅层特征和深层特征；

5、采用跨模态特征增强模块，将所述rgb图像和所述光流图像不同模态的浅层特征进行模态对齐，基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到跨模态浅层增强特征；

6、采用深度感知交互模块，将所述rgb图像和所述光流图像不同模态的深层特征基于多头注意力机制实现跨模态融合，得到跨模态深层交互特征；

7、利用长时跨帧对比模块基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对跨模态浅层增强特征和跨模态深层交互特征进行融合，得到显著性目标检测结果。

8、本发明的第二个方面提供面向无人机视频数据的弱监督显著性目标检测系统，包括：

9、获取模块：用于获取视频片段的rgb图像、光流图像；

10、特征提取模块：用于分别对所述rgb图像、光流图像进行多尺度的特征提取，得到rgb图像的浅层特征和深层特征，光流图像的浅层特征和深层特征；

11、浅层特征增强模块：用于将所述rgb图像和所述光流图像不同模态的浅层特征进行模态对齐，并基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到跨模态浅层增强特征；

12、深度感知交互模块：用于将所述rgb图像和所述光流图像不同模态的深层特征基于多头注意力机制进行跨模态融合，得到跨模态深层交互特征；

13、长时跨帧对比模块：用于基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对跨模态浅层增强特征和跨模态深层交互特征进行融合，得到显著性目标检测结果。

14、本发明的第三个方面提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种基于弱监督的视频显著性目标检测方法。

15、本发明的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种基于弱监督的视频显著性目标检测方法。

16、以上一个或多个技术方案存在以下有益效果：

17、在本发明中，分别对视频的rgb图像和光流图进行浅层特征和深层特征的提取，浅层特征包括物体的边缘和纹理等特征信息，深层特征包括丰富的显著性语义内容，将不同模态的浅层特征进行模态对齐和校准，能够更加关注每个模态的显著性信息。不同模态的深层特征进行跨模态融合，充分融合了深层特征的显著性语义信息，然后基于跨模态浅层增强特征和跨模态深层交互特征进行融合得到检测结果，能够很好地抑制视频中复杂背景信息，提高了视频显著性目标检测的准确性，而且应用在弱监督中可达到部分全监督检测效果。

18、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，包括：

2.如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，采用跨模态特征增强模块，将所述rgb图像和所述光流图像不同模态的浅层特征进行模态对齐，并基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到目标跨模态浅层增强特征，具体为：

3.如权利要求2所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，将不同模态的对齐特征与对应的校准特征进行融合后，还包括：

4.如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，采用深度感知交互模块，将所述rgb图像和所述光流图像不同模态的深层特征基于多头注意力机制进行跨模态融合，得到跨模态深层交互特征，具体包括：

5.如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，利用长时跨帧对比模块基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对不同模态的跨模态浅层增强特征和跨模态深层交互特征进行融合，具体为：

6.如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，还包括边缘检测增强，具体包括：

7.如权利要求6所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，利用全监督的交叉熵损失函数作为边缘检测增强的边缘检测监督。

8.面向无人机视频数据的弱监督显著性目标检测系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的面向无人机视频数据的弱监督显著性目标检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的面向无人机视频数据的弱监督显著性目标检测方法。

技术总结
本发明提出了面向无人机视频数据的弱监督显著性目标检测方法及系统，分别对视频的RGB图像和光流图进行浅层特征和深层特征的提取，浅层特征包括物体的边缘和纹理等特征信息，深层特征包括丰富的显著性语义内容，将不同模态的浅层特征进行模态对齐和校准，能够更加关注每个模态的显著性信息；不同模态的深层特征进行跨模态融合，充分融合了深层特征的显著性语义信息，然后基于跨模态浅层增强特征和跨模态深层交互特征进行融合得到检测结果，能够很好地抑制视频中复杂背景信息，提高了视频显著性目标检测的准确性，而且应用在弱监督中可达到部分全监督检测效果。

技术研发人员：丛润民,张伟,仇梓峰,宋然,陈宇,李晓磊,陈韬亦
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/15