一种基于改进yolov8的无人机航拍图像目标检测方法

本发明涉及人工智能的深度学习,特别是涉及一种基于改进yolov8的无人机航拍图像目标检测方法。

背景技术：

1、无人机航拍图像的智能化感知是指利用人工智能(ai)和计算机视觉技术对无人机航拍获取的图像进行分析和理解，以提取有用的信息和智能化的感知结果。提高无人机航拍图像的智能化感知水平，目标检测是一项重要的技术，但无人机航拍图像常常存在目标分布密集、目标过小、场景复杂以及检测目标部分被遮挡等特征。在复杂场景检测多尺度目标的条件下，传统的目标探测方法已经不能适应高精度检测的需求。由于深度学习技术在图像处理领域展现出了良好的应用前景，因此，将深度学习运用到无人机航拍图像的特征提取中，能够很好地弥补常规方法的缺陷。

2、目前，基于深度学习的目标检测方法主要是以回归运算为基础的单阶段的检测方法，单阶段目标检测方法直接在输入图像上密集地预测目标的类别和边界框，通常使用一个单一的神经网络模型完成，比如yolo系列。单阶段目标检测通常具有较快的处理速度，更适用于实时应用。

3、在面对无人机航拍的特殊环境时，基于yolov8的目标检测方法面临以下两个难题。首先，由于无人机高空俯拍，目标通常是小目标，其在图像中所占像素比例较小，因此检测难度较大；其次，由于地面环境复杂，容易出现目标被遮挡等问题。因此，在提高原有精度的前提下，对yolov8的主干网络架构进行改进，轻量化网络模型并提高推理速度，对于将yolov8应用到无人机航拍图像目标检测领域具有重要意义。

技术实现思路

1、本发明旨在解决当前yolov8用于无人机航拍图像的目标检测中，由于目标密集、小目标众多、被遮挡等原因造成的检测困难，以及由于骨干网络的复杂性而造成的实时性不足等问题，拟研究一种基于改进yolov8的无人机航拍图像目标检测方法，通过对骨干网络的结构进行优化，使其得到更好的改善。本发明网络相较于原来的yolov8会更加轻便，能更好地实现无人机航拍图像的目标检测。

2、本发明的技术方案在于提供一种基于改进yolov8的无人机航拍图像目标检测方法，此方法包括下列步骤：

3、步骤1：首先，通过对无人机航拍图像进行分类、标记，获得具有类别标记的图像数据集，并将其分为训练集与测试集。在此基础上，采用图像数据增强技术对图像进行了预处理，扩充了数据集，得到预处理操作后的特征图；

4、步骤2：对步骤1得到的预处理后的特征图输入到改良的yolov8网络中，以获得各个尺度的无人机航拍图像特征图。在yolov8主干网络p5层的c2f模块中，本发明将bottleneck模块用感受野增强模块(rfe)代替，融合多尺度特征。rfe通过使用扩张卷积来增加感受野，可以对图像进行多层次的特征提取和融合；

5、步骤3：对步骤2得到的不同尺度的无人机航拍图像特征图，将其输入到改进的yolov8网络中的neck部分，在neck层我们建立pafpn的架构，对不同尺度的无人机航拍图像特征图进行上采样和特征融合后获得不同尺度的张量数据。我们在neck层的输出部分引入分离和增强注意模块(seam)来增强被遮挡目标的响应性；

6、步骤4：用所建立的模型，对数据集中的图像进行检测和分类，利用ciou损失、平均精度(mean average precision,map)以及精度和召回率波动情况等3个方面对目标检测的效果进行评价并将其结果输出。

7、优选地,所述步骤1中借助pytorch框架，我们能够利用数据增强方法来拓展数据集。数据增强方法包括对数据集中的图像进行裁剪、旋转、翻转、色调调整、饱和度调整、随机亮度调整以及明度调整等操作。通过这些技术手段，我们能够增加具有目标特征的数据样本，从而扩充我们的数据集。

8、优选地,所述步骤2在无人机航拍图像目标检测中，感受野和分辨率是关键因素。因此，我们设计了一个感受野增强模块(rfe)来学习特征图的不同感受野。首先，将主干网络中的p2层信息与fpn融合，获得更多的像素级信息，并对小目标信息进行补偿；但是，这样一来，由于输出的特征图感受野变小，对大中型目标的检测精度会略有降低。为了改善这种情况，我们设计了用感受野增强模块(rfe)来代替主干网络p5层c2f模块里的bottleneck模块，rfe通过使用扩张卷积来增加感受野，使我们的感受野增大，对全局特征的提取进行加强。

9、优选地,所述步骤3中在改进的yolov8网络中neck层建立pafpn的架构，pafpn包含fpn和pan两个结构，其中fpn走自顶向下的过程，将高层特征传下来，而pan引入了自底向上的路径，使底层信息更容易传到顶部，两者主要是通过将高层特征和低层特征相结合，可以有效提高目标检测的效果。本发明在yolov8网络结构neck层的输出部分，即与head层连接的部分引入注意力机制seam来增强被遮挡目标的响应性，使网络加强所有通道之间的连接，改进了之前检测被遮挡目标的检测困难问题。

10、优选地，所述步骤4的具体方法是：

11、ciou损失函数，其计算公式如下：

12、

13、式中，ciou(complete-iou)表示完全交并比，是一种用于衡量目标检测中边界框预测准确性的评估指标，ciou公式考虑了边界框之间的位置关系、尺寸差异和重叠程度；iou表示交并比；b表示预测框的中心点；bgt则表示的是真实框的中心点；ρ用来计算上述两个中心点间的欧几里得距离；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；其中α是用于调整完整性和重叠度量之间权衡的参数，α的定义如下：

14、

15、v是一个参数，用于测量长宽比的连贯性，其中h代表长，w代表宽，v定义如下：

16、

17、此外，本发明还采用平均精度(mean average precision，map)以及精度和召回率波动情况作为衡量多标签图像检测精度的指标，map是通过绘制pr曲线来获得，pr曲线是一个二维曲线，该二维曲线是以precision作为纵坐标，recall作为横坐标绘制而成的，其中precision代表模型检测的精度，recall代表模型检测的召回率；精度和召回率波动情况可以看出训练效果的好坏，波动不是很大则训练效果较好，如果训练比较好的话图上呈现的是稳步上升。

18、已有技术相比较，本发明基于yolov8网络，通过引入感受野增强模块(rfe)代替主干网络p5层c2f的bottleneck模块，通过扩展卷积来充分利用特征映射中感受野的优势，使我们的感受野增大，对全局特征的提取进行加强。从而有效地解决yolov8网络对小目标检测能力不足的问题。

19、本发明通过对yolov8网络进行改进，在neck层建立pafpn的架构融合高低层特征提升目标检测的效果，同时本发明增添分离和增强注意模块(seam)使用特征映射之间的关系来回忆被遮挡的特征，从而有效地解决无人机航拍图像目标被遮挡的问题，提高了检测目标的识别精度。本发明的研究成果将为无人机航拍图像检测领域提供新的思路和方法。