一种基于多帧差分的卫星视频运动车辆检测方法

本发明涉及运动车辆检测，具体涉及一种基于多帧差分的卫星视频运动车辆检测方法。

背景技术：

1、近年来，深度学习技术的出现为图像目标检测领域提供新的思路和研究方法。由于具备强大的图像学习能力和特征抽象能力，在诸多图像处理领域均受到关注。视频卫星是一种新型的对地观测卫星，可以采用“凝视”的方式对某一区域进行持续观测，并通过视频的方式来记录观察信息，有利于运动目标的监测。所谓“凝视”是指随着卫星的运动，光学成像系统始终盯住某一目标区域，可以连续观察视场内的变化。相比于传统的监控视频，利用卫星视频对车辆进行检测能够在大尺度上提供更全面的分析结果。相比于高分辨率卫星图像数据，卫星视频具有更高的时间分辨率，可以更持续地对车辆进行检测。但是由于卫星视频高视角的特点，在利用卫星视频进行车辆检测时，存在以下问题：(1)因为卫星视频成像空间分辨率的限制使得车辆在视频中仅为几个到十几个像素大小，车辆的细节信息较少；(2)在成像过程中，传感器的移动引起建筑物、树木等目标发生位移变化，使检测过程中出现很多伪运动目标，让背景变得更加复杂；(3)卫星视频序列中的部分车辆与背景具有相似的对比度。

2、当前的卫星视频运动车辆检测算法主要分为两类：①传统目标检测方法，光流法通常需要大量的计算且易受光照变化的影响，这限制了其在卫星视频中的应用；大多数背景差分法和帧差法容易受到背景移动和对比度变化的影响，而这些因素在卫星视频中是普遍存在的。传统目标检测方法往往需要按照经验针对不同场景人工修改参数，检测性能依赖于手工设计的特征，使用统一参数在不同的复杂场景下难以达到较高的检测精度。②基于深度学习的目标检测方法，该方法一定程度上克服了传统方法受光照和背景移动的问题。但同时也存在一些不足之处，卫星视频中的运动车辆目标较小且模糊，与背景对比度低，仅仅利用单帧图像进行检测精度不佳。在数据增强方式的选择上，仅对当前影像进行简单的旋转、缩放、裁剪等数据增强方式，不能有效的增加数据的复杂度，难以应对复杂场景中的运动车辆检测。

3、为了克服卫星视频运动车辆目标检测中，受光照和背景移动的问题，现有算法中，光流法通过对视频或图像序列中的像素点逐个计算运动场并分析运动场的时域变化和相关性来确定各像素点位置的运动变化，进而从背景中检测出运动目标。li等人首先用canny边缘检测算子对图像进行处理，然后基于双向光流法计算每对边缘的位移并建立所有匹配边缘的位移直方图，最后基于边缘约束对运动目标的边缘点进行匹配，确定运动目标区域。光流法可以检测出运动目标较为完整的信息，并且对于视频抖动有较好的抗干扰能力，但缺点是计算量较大，难以满足实时性的需求，同时对于光照较为敏感，不适用于光照变化较大的场景。

4、背景差分法通过多帧图像对背景进行建模，然后将当前帧图像与背景图像进行差分运算，从而得到运动目标。背景减法的流程通常分为三步：1)背景初始化。背景初始化又被称为背景估计、背景生成、背景恢复，用于初始化背景模型，形成没有前景目标的视频帧；2)背景更新。在运动目标检测的过程中，由于光照、运动模糊以及伪运动目标等不确定因素，背景图像往往会发生变化。为了抑制不确定因素对目标检测的影响，实现对运动目标的精确检测，需要在运动目标检测过程中对背景进行不断地更新；3)前景检测。通过比较当前视频帧和背景模型来计算前景。计算结果是一个二值掩模，白色像素代表前景，黑色代表背景。在某些背景差分算法中，前景检测之后是后处理步骤，以细化检测到的移动目标。ahmadi等人使用背景差分法和每帧otsu阈值(大津阈值分割法)检测运动目标。背景差分法是传统运动目标检测算法中应用最为广泛的方法，优点是计算简单，容易实现，相较于其它传统运动目标检测算法来说精度较高，且大部分背景差分算法可以达到实时处理，但缺点是对场景中的遮挡、光照变化和背景抖动等情况较为敏感，尤其在背景抖动情况下，背景差分法会产生大量的伪运动目标。

5、chen等人利用基于k-最近邻模型(k-nearest neighbor，knn)的背景差分法获得高召回率的检测结果，然后利用一个简单的卷积神经网络抑制虚假目标。虽然模型简单，但很大程度上依赖于背景差分法的结果，没有利用到神经网络强大的特征提取和表达能力。同时，由于该策略是将两种方法进行级联，因此检测速度较慢，因此，亟需能克服现有方法难以有效利用数据增强策略提高数据复杂度以及解决单帧影响检测精度不佳问题的运动车辆检测方法。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种基于多帧差分的卫星视频运动车辆检测方法，通过引入帧差模块(frame difference module，fdm)，利用相邻帧之间的帧间差分信息，丰富当前帧车辆的特征信息；改进mosaic数据增强方式，提高模型应对复杂场景的能力；并与帧差模块有效结合，使用连续帧三元组作为模型输入，引入了focal loss损失函数，使得模型更加聚焦于难分类样本，从而实现卫星视频运动车辆的高精度检测，解决了上述背景技术中提到的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：

3、s1、对采集的卫星视频运动车辆数据进行处理，建立运动车辆检测数据集，并将数据集划分为训练集和测试集；

4、s2、构建改进的yolov5网络模型；

5、s3、在改进后的yolov5网络模型中引入帧差模块，将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征；

6、s4、对帧差模块的数据读取方式进行修改，形成顾及时空信息的yolov5网络模型；

7、s5、将训练集数据输入到顾及时空信息的yolov5网络模型中进行训练，训练结束后得到最优模型；

8、s6、将测试集数据输入到最优模型中进行模型测试，输出车辆目标检测结果。

9、优选的，在步骤s1中，对采集的卫星视频运动车辆数据进行处理具体包括数据预处理、数据标定和数据格式转换。

10、优选的，在步骤s2中，改进的yolov5网络模型具体是指将原始yolov5模型的交叉熵损失函数替换为focal loss损失函数。

11、优选的，在步骤s3中，引入帧差模块的构建方法具体包括：

12、设v＝{p1，p2，...pt，...，pn}为卫星视频，pt为卫星视频的第t帧；

13、将连续帧vt＝{pt-1，pt，pt+1}输入改进后的yolov5网络，通过一个两层的卷积来对连续帧的空间信息进行提取，通过空间特征计算公式：

14、ft＝c1·pt，

15、得到连续帧所对应的空间特征{ft-1，ft，ft+1}；

16、对得到的空间特征进行两两差分，差分特征的计算公式：

17、f(t-1，t+1)＝c2·|ft-1-ft+1|

18、再经过一个3×3卷积得到差分特征{f(t-1，t)，f(t-1，t+1)，f(t，t+1)}；

19、将差分特征进行融合，并通过一个3×3卷积形成时间特征，时间特征的计算：

20、f(t-1，t，t+1)＝c3·concat(f(t-1，t)，f(t-1，t+1)，f(t，t+1))；

21、将时间特征与当前帧的空间特征融合，并由一个3×3卷积形成最终结合时间和空间信息的融合特征，融合特征的计算：

22、fst＝c4·concat(ft，f(t-1，t，t+1))

23、式中，concat()为连接操作，c1是一个步长为2的6×6卷积以及一个步长为1的3×3卷积，c2、c3、c4是一个步长为1的3×3卷积，卷积结构和yolov5模型的基本卷积结构一致，包括一个2d卷积、批归一化以及silu激活函数。

24、优选的，所述步骤s4具体包括：将单帧输入改为连续帧三元组输入，再结合常规数据增强和mosaic数据增强的方式对数据进行增强。

25、优选的，所述常规数据增强包括数据旋转、数据缩放。

26、优选的，所述最优模型是当第n个epoch的f1精度指标为历史值最大时，定为最优模型，并迭代至模型训练结束；若当前epoch与历史最优模型的epoch之差大于固定阈值时，提前结束模型训练，输出最终的最优模型；所述固定阈值设置为100。

27、本发明的有益效果是：

28、1)本发明方法提出的基于多帧差分的卫星视频运动车辆检测方法，使用深度学习方法，结合了卫星视频的时间特征信息，通过连续帧三元组的形式进行检测，达到了较高的精度，且实时性较高，实现了卫星视频运动车辆检测的端到端处理。

29、2)本发明提出的帧差模块，在略微增加检测时间以及占用显存的情况下，可以明显地提升模型对卫星视频运动车辆的检测能力，与mosaic等数据增强方法的结合使得模型可以更充分地利用时空信息，模型的检测精度有了进一步的提升，在单帧目标外观特征不足的情况下，利用帧间信息来提高模型的检测精度。

30、3)本发明提出的数据增强优化，可以较好的提升模型的召回率并且不会明显降低模型的精确率。