一种轻量级的无人机航拍图像目标检测方法

本发明涉及无人机图像处理的，特别是一种轻量级的无人机航拍图像目标检测方法。

背景技术：

1、无人机凭借着强大的机动性，广泛应用于军事、农业、环境监测等领域。军用无人机可用于战场侦察和边境巡逻等场景。在农业方面，无人机可以精准、高效、环保地喷洒农药。在环境监测中，利用它们观察空气状况，采集周围区域的环境数据，也可以实时监测工厂的排污。计算机视觉技术为无人机的发展提供了技术支撑。目标检测是计算机视觉的基本任务，它能够识别无人机航拍图像中的所有目标以及目标的位置。近年来，基于卷积神经网络的深度学习成为了当前目标检测的主流方法。双阶段方法如r-cnn系列，通常检测精度较高，但推理速度慢。ssd系列、yolo系列等单阶段算法推理速度快但精度稍逊。虽然这些方法在自然场景图像上(ms coco)取得了先进的性能。但在检测无人机航拍图像或视频中的物体时，却无法取得令人满意的检测结果。

2、无人机航拍场景中目标检测存在以下挑战：(1)与自然场景图像不同，由于无人机在低空拍摄图像的特性，导致图像包含很多密集的小目标。远处的目标非常小，同时密集场景会产生遮挡现象，使目标检测更加困难。(2)受硬件资源的限制，一般目标检测算法将高分辨率的无人机航拍图像缩小尺寸(如320×320或640×640)输入到模型中，这样做会导致小目标漏检。(3)无人机航拍图像目标检测需要满足实时性，因此需要对网络的参数和准确率进行权衡，二者存在不可调和的矛盾。

3、公开号为cn115810157a的发明专利公开了一种基于轻量级特征融合的无人机目标检测方法，首先通过使用深度可分离卷积(dsc)与coordinate attention(ca)重新设计yolov4-tiny的颈部特征提取模块；然后使用sppf特征提取模块来增加提取特征的感受野信息，并且有效的保持模型的计算轻量化；最终使用decoupled head检测头模块使最终提取到的特征信息具有更强的空间联合性。该方法的缺点是①ca模块会带来额外的计算开销，增加了网络的延迟，导致检测速度下降；②sppf虽然有效地增加了网络的感受野信息，但额外的增加了参数和计算复杂度。

4、公开号为cn 112101113a的发明专利公开了一种轻量化的无人机图像小目标检测方法，对输入的待测无人机图像视频按时序对每一帧图像进行处理，包括：将图像缩放后输入revised mobilenetv2特征提取器，输出特征图；特征图输入同步上采样和检测模块，获得目标中心点位置和对应尺度，得到帧内所有预测目标边界框；对待测视频的所有帧进行处理后，对所有帧的预测结果进行快速序列非最大值抑制处理，输出待测视频的目标检测结果。该方法的缺点是增加一个二分类中心点目标性分支虽然在一定程度上降低了小目标的误检率，但增加了计算开销，占用了更多的硬件资源。

技术实现思路

1、为了解决上述的技术问题，本发明提出一种轻量级的无人机航拍图像目标检测方法，在保持局部细节的情况下又能增加卷积核感受野的模块erf module。同时使用erfmodule设计了轻量级的骨干，有效地扩大了骨干的感受野，避免了添加额外的上下文模块来扩大网络感受野。

2、本发明的目的是提供一种轻量级的无人机航拍图像目标检测方法，包括获取原始的无人机航拍影像，还包括以下步骤：

3、步骤1：将所述原始的无人机航拍图像输入到有效感受野网络erfnet中，调整所述原始的无人机航拍图像的大小，生成调整无人机航拍图像；

4、步骤2：将所述调整无人机航拍图像输入到步幅为2的有效感受野模块erf module中进行下采样并进行特征提取；

5、步骤3：重复所述步骤2的方法5次，输出{c3,c4,c5}三个尺度；

6、步骤4：将所述{c3,c4,c5}三个尺度输入到有效感受野路径聚合网络erf-pan进行特征融合，输出{p3,p4,p5}三个特征图；

7、步骤5：将所述{p3,p4,p5}三个特征图输入到有效感受野检测头erf-head进行检测，使用1×1卷积输出预测结果。

8、优选的是，所述步骤1包括所述原始的无人机航拍图像的大小为640×640×3，经过一个聚焦focus模块，生成大小为320×320×32的所述调整无人机航拍图像。

9、在上述任一方案中优选的是，下采样后的所述调整无人机航拍图像的大小变为160×160×32。

10、在上述任一方案中优选的是，所述步骤2还包括使用步幅为1的所述有效感受野模块erf module进行特征提取，特征提取后的图像大小不变。

11、在上述任一方案中优选的是，当所述有效感受野模块erf module的步幅为1时，将输入的通道数均分成两部分，左分支用于残差连接防止梯度消失以及减少过拟合，右分支通过堆叠n个空洞卷积块d block来扩大网络感受野并且不会丢失局部细节。

12、在上述任一方案中优选的是，当所述有效感受野模块erf module的步幅为2时，左边的分支通过空洞卷积块d block学习特征，右边的分支通过maxpooling操作学习特征，将左右分支学习到的特征进行拼接，使用1×1的卷积恢复通道数。

13、在上述任一方案中优选的是，所述{c3,c4,c5}三个尺度的大小分别为80×80×128、40×40×256和20×20×512。

14、在上述任一方案中优选的是，所述步骤4包括以下子步骤：

15、步骤41：对尺度c5使用一个1×1的卷积得到尺度c5′通过上采样使尺度c5′变为40×40×256，然后与尺度c4进行特征融合；

16、步骤42：使用一个步幅为1的所述有效感受野模块erf module进行特征提取得到一个大小为40×40×512的尺度c4_upsample；

17、步骤43：对所述尺度c4_upsample使用一个1×1的卷积得到尺度c4′，通过上采样使尺度c4′变为80×80×128，然后与尺度c3进行特征融合；

18、步骤44：使用一个步幅为1的所述有效感受野模块erf module进行特征提取得到特征图p3，特征图p3的大小为80×80×128；

19、步骤45：特征图p3通过一个步幅为2的所述有效感受野模块erf module下采样与尺度c4′进行特征融合，然后使用一个步幅为1的所述有效感受野模块erf module进行特征提取得到特征图p4，特征图p4的大小为40×40×256；

20、步骤46：特征图p4通过一个步幅为2的所述有效感受野模块erf module下采样与尺度c5′进行特征融合，然后使用一个步幅为1的所述有效感受野模块erf module进行特征提取得到特征图p5，特征图p5的大小为20×20×512；

21、步骤47：输出{p3,p4,p5}三个特征图，大小分别为80×80×128、40×40×256和20×20×512。

22、在上述任一方案中优选的是，所述步骤5还包括使用1×1卷积压缩{p3,p4,p5}的通道数，使通道数保持一致。

23、在上述任一方案中优选的是，所述步骤5还包括堆叠两次空洞卷积块dblock用于提高检测头的特征提取能力。

24、本发明提出了一种轻量级的无人机航拍图像目标检测方法，能够在减少参数的前提下有效地提升检测性能。在自然灾害的救援行动中，救援人员可以通过操控无人机实时回传航拍影像并且生成全景图，提供灾害现场态势感知。