一种用于无人机的车辆检测方法、装置及存储介质

本发明涉及一种用于无人机的车辆检测方法、装置及存储介质，属于图像处理、计算机视觉、深度学习。

背景技术：

1、随着社会经济的发展和国民生活水平的提高，我国的汽车数量与日俱增，随之而来的是交通拥堵、交通事故频发，为了缓解日益增长的交通压力，发展智能交通系统迫在眉睫。相较于传统的固定布局和移动终端，无人机具有灵活性、经济性等优点，利用无人机进行车辆的精确定位和识别，为智能交通系统获得可靠的交通信息提供了有效的解决方案。目前许多目标检测算法都在向着“高精度”的方向发展，导致这类算法参数量、计算量大，需要在大显存、高算力的gpu上才能运行。而无人机搭载的嵌入式平台的内存和计算能力有限。因此想要在这类平台上部署车辆检测算法，就需要我们设计一种轻量化的网络并且需要平衡检测算法的准确性和实时性。

2、另一方面，在过去的几年中，深度学习的快速发展和大规模数据集的出现推动了基于卷积神经网络的检测器的普及。然而，在通用数据集上的检测任务通常涉及更大的目标，这些目标通常具有较大的尺寸和较高的对比度，因此相对容易被检测。然而，在真实的应用场景中，无人机平台通常在高度几十米的空中，其观察到的车辆目标只有几十个像素，只占整个图像非常少的比例。这些小目标的尺寸较小，图像中包含的有效信息也就相对较少，甚至还容易受到噪声和背景的干扰。同时，在卷积网络的下采样过程中，特征图的分辨率将被进一步降低，小目标在特征图的细粒度信息会被过滤甚至消失，进一步增加了物体的区分和定位难度。尽管这些通用物体检测器已经显著提高了精度和效率，但当检测小尺寸目标时，它们仍然表现不佳。

技术实现思路

1、本发明的目的在于提供一种用于无人机的车辆检测方法、装置及存储介质，解决现有技术中存在的算力需求大、小目标检测精度低的问题。

2、为实现以上目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种用于无人机的车辆检测方法，包括：

4、获取无人机拍摄的图像；

5、将所述图像输入到训练好的目标检测网络中，得到检测结果。

6、结合第一方面，进一步的，所述目标检测网络包括主干网络、特征金字塔和检测头；

7、所述主干网络用于从输入的图像中提取特征表示；

8、所述特征金字塔用于融合所述主干网络输出的特征表示中的浅层纹理特征和深层语义信息；

9、所述检测头用于根据所述特征金字塔的输出产生检测结果。

10、结合第一方面，进一步的，所述主干网络的结构通过基于最大熵理论的零样本nas方法确定。

11、结合第一方面，进一步的，所述主干网络的结构通过基于最大熵理论的零样本nas方法确定，包括：

12、使用以下公式搜索出一个l层、m级的卷积神经网络作为主干网络：

13、

14、s.t.latency≤budget

15、

16、

17、w1≤w2≤…≤wl

18、其中，si是主干网络第i级的预定义残差块优化参数，i是主干网络的级数，αi是hi的权重超参数，hi是主干网络第i级所包含的熵，β是q的权重超参数，q是每一级通道数方差的期望，latency是主干网络实际运行时的延迟，budget是主干网络时延预算，wi是主干网络第i层的宽度，w1，w2，…，wl表示主干网络第1层到第l层的宽度，ρ是设置好的超参数，表示定义为，var是方差运算符号，d1，d2，…，dm表示主干网络第1级到第m级的通道数。

19、结合第一方面，进一步的，所述主干网络的熵为：

20、

21、其中，hl是一个l层的主干网络的熵，rl+1是主干网络最后一层的输出尺寸，cl+1是主干网络最后一层的通道数，ci是第i层的输入通道数，ki是第i层的卷积核大小，qi是第i层的分组数。

22、结合第一方面，进一步的，所述特征金字塔中，采用级联感受野模块代替现有特征金字塔中的上/下采样层，所述级联感受野模块通过以下方法构建：

23、将3个具有3×3感受野的spatial-channel卷积块级联起来以获得3×3、5×5和7×7三种不同的感受野，得到所述级联感受野；

24、每个所述spatial-channel卷积块内部使用一个3×3卷积和1×1卷积来分别学习空间信息和通道信息。

25、结合第一方面，进一步的，所述检测头中设有无锚框范式的解耦头结构，所述解耦头结构用于根据所述特征金字塔的输出产生检测结果，所述解耦头结构包括多个分支，所述解耦头结构的每个分支由两个3×3卷积和一个1×1卷积组成。

26、结合第一方面，进一步的，所述目标检测网络的训练过程中，采用cross entropyloss交叉熵损失作为分类损失，采用wise-iou loss和distribution focal loss作为预测框损失，训练过程的总损失为：

27、ldet＝lcls+λlwiou+μldfl

28、其中，ldet是总损失，lcls是分类损失，lwiou是wise-iou loss，λ是lwiou的权重超参数，ldfl是distribution focal loss，μ是ldfl的权重超参数。

29、第二方面，本发明还提供了一种用于无人机的车辆检测装置，包括：

30、图像获取模块，被配置为：获取无人机拍摄的图像；

31、车辆检测模块，被配置为：将所述图像输入到训练好的目标检测网络中，得到检测结果。

32、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面中任一项所述的用于无人机的车辆检测方法。

33、与现有技术相比，本发明所达到的有益效果是：

34、本发明提供的一种用于无人机的车辆检测方法、装置及存储介质，通过训练好的目标检测网络，实现小目标的精确检测，并且该目标检测网络还降低了网络的复杂度；

35、本发明使用了一种基于信息论原理的零样本nas方法来获得有限延迟预算下的最优的主干网络结构，设计主干网络时无需使用gpu和训练数据。基于这一方法，可以在几个小时内自定义出不同预算下的主干网络，有效降低网络对算力的要求；

36、本发明使用一种带有多路径聚合的多尺度感知模块(级联感受野模块)用以替换原生金字塔中的上/下采样层。该模块能够在不显著增加检测延迟的情况下，提升金字塔的多尺度学习能力，进而增强模型的小目标检测能力。

技术特征：

1.一种用于无人机的车辆检测方法，其特征在于，包括：

2.根据权利要求1所述的用于无人机的车辆检测方法，其特征在于，所述目标检测网络包括主干网络、特征金字塔和检测头；

3.根据权利要求1所述的用于无人机的车辆检测方法，其特征在于，所述主干网络的结构通过基于最大熵理论的零样本nas方法确定。

4.根据权利要求1所述的用于无人机的车辆检测方法，其特征在于，所述主干网络的结构通过基于最大熵理论的零样本nas方法确定，包括：

5.根据权利要求4所述的用于无人机的车辆检测方法，其特征在于，所述主干网络的熵为：

6.根据权利要求2所述的用于无人机的车辆检测方法，其特征在于，所述特征金字塔中，采用级联感受野模块代替现有特征金字塔中的上/下采样层，所述级联感受野模块通过以下方法构建：

7.根据权利要求2所述的用于无人机的车辆检测方法，其特征在于，所述检测头中设有无锚框范式的解耦头结构，所述解耦头结构用于根据所述特征金字塔的输出产生检测结果，所述解耦头结构包括多个分支，所述解耦头结构的每个分支由两个3×3卷积和一个1×1卷积组成。

8.根据权利要求1所述的用于无人机的车辆检测方法，其特征在于，所述目标检测网络的训练过程中，采用cross entropy loss交叉熵损失作为分类损失，采用wise-iou loss和distribution focal loss作为预测框损失，训练过程的总损失为：

9.一种用于无人机的车辆检测装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的用于无人机的车辆检测方法。

技术总结
本发明公开了一种用于无人机的车辆检测方法、装置及存储介质，属于图像处理、计算机视觉、深度学习技术领域，包括获取无人机拍摄的图像；将所述图像输入到训练好的目标检测网络中，得到检测结果；本发明能够提高小目标检测的精度，降低目标检测网络所需的算力，更加匹配无人机应用场景。

技术研发人员：孙伟,刘轩诚,张小瑞,赵宇煌
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/1/16