一种基于特征增强的航拍旋转小目标检测方法

本发明涉及航拍图像目标检测，特别是涉及一种基于特征增强的航拍旋转小目标检测方法。

背景技术：

1、进入新世纪以来，人类科技水平大幅提高，航空航天技术快速发展，无人机、卫星等相关技术日渐成熟并得到了广泛应用。其中，航拍图像目标检测在军事战略、资源勘探、城市规划、交通管制等多个领域得到广泛应用，推动着这些领域的发展。航拍图像目标检测是指在无人机等飞行器在空中航行过程中，对场景中的目标按照预定的规则进行多视角、多方位、主动式的自动识别和定位。

2、然而，在远距离俯瞰视角拍摄目标时，小目标占比高、多邻域聚集、图像背景复杂等特性导致小目标常常淹没在的图像背景中，在检测时容易出现漏检和误检的情况。普通目标检测模型只适用于场景信息简单、区分度高、目标尺寸大的普通图像目标检测，小目标检测精度远低于其他尺度目标的。直接在航拍图像中使用通用目标检测算法会得到性能退化严重的检测结果，因此小尺度目标检测是一个棘手的问题。

3、此外，航拍图像目标检测与自然图像目标检测差异较大，航拍图像目标检测往往具有图像尺寸大目标尺寸小、目标方向排列任意、密集场景多目标相邻排列等特点，若使用水平框对目标进行框选会存在诸多问题。由于水平框不能很好地适应目标的不同朝向和形状，直接使用水平框对航拍图像目标进行目标框选时，会引入大量背景信息，并且相邻的水平框可能会有大量重叠，从而导致框选的准确性降低。此外，由于水平框之间的交并整体偏高，使用非极大值抑制进行后处理时容易出现目标漏检的情况，使召回率降低。

技术实现思路

1、为了克服现有技术的不足，本发明的目的是提供一种基于特征增强的航拍旋转小目标检测方法，本发明解决了现有技术中由航拍目标方向排列任意、背景复杂、目标尺寸小、目标尺度差异较大而造成的检测性能差的问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于特征增强的航拍旋转小目标检测方法，包括：

4、获取待测航拍数据集；

5、对所述待测航拍数据集进行数据增强，得到增强后的待测航拍数据集；

6、构建旋转目标检测系统；

7、将所述增强后的待测航拍数据集输入至所述旋转目标检测系统进行实时检测，得到检测结果；

8、所述构建旋转目标检测系统的构建方法为：

9、构建旋转目标检测网络，并针对航拍小目标场景进行优化，得到优化后的旋转目标检测网络；

10、基于所述增强后的待测航拍数据集，对所述优化后的旋转目标检测网络进行训练，得到训练后的旋转目标检测网络；

11、对所述训练后的旋转目标检测网络进行轻量化处理并部署至边缘计算器，得到旋转目标检测系统。

12、优选地，对所述待测航拍数据集进行数据增强，得到增强后的待测航拍数据集，包括：

13、对所述待测航拍数据集进行刚性变换，得到第一数据集；所述刚性变化包括对待测航拍数据集内的图像进行随机裁剪、随机旋转和mosaic增强；

14、对所述第一数据集进行像素值变换，得到第二数据集；所述像素值变换包括对所述第一数据集进行随机亮度变换、随机饱和度变换；

15、对所述第二数据集加入环境噪声，得到增强后的待测航拍数据集。

16、优选地，所述构建旋转目标检测网络，并针对航拍小目标场景进行优化，得到优化后的旋转目标检测网络，包括：

17、将所述旋转目标检测网络引入混合空间金字塔模型，得到强化前景信息网络；

18、对所述强化前景信息网络引入引入simam注意力机制，得到特征增强网络；

19、利用nwdloss损失函数替换所述特征增强网络中的ciou损失函数，得到定位网络；

20、使用旋转矩形框的长边表示法替换所述定位网络中原有水平检测框，得到优化后的旋转目标检测网络。

21、优选地，将所述旋转目标检测网络引入混合空间金字塔模型，得到强化前景信息网络，包括：

22、在所述旋转目标检测网络原有的特征空间金字塔池化模型的最大池化支路上并联两个不同尺度的均值池化，得到前景信息网络；

23、将所述前景信息网络中的高层特征中加入低层特征信息，得到强化前景信息网络。

24、优选地，所述simam注意力机制通过能量来表示特征重要程度，其中，

25、

26、其中，和为单通道上所有神经元的均值和方差，t为目标神经元，λ为超参数。

27、优选地，所述旋转矩形框的长边表示法为将待检测目标表示为一个矩形边界框，其中长边与目标的主要方向对齐，短边与次要方向对齐。

28、优选地，对所述训练后的旋转目标检测网络进行轻量化处理并部署至边缘计算器，得到旋转目标检测系统，包括：

29、将所述训练后的旋转目标检测网络中的分类模型与权值转化为可移植的onnx格式文件；

30、利用tensorrt深度学习推理优化库对所述onnx格式文件进行初次优化，得到初始优化网络；

31、使用tesorrt中的int8量化功能对初始优化网络中模型内存占用量进行加速优化，得到最终优化网络；

32、将所述最终优化网络加载到xavier边缘计算平台得到旋转目标检测系统。

33、优选地，所述旋转目标检测系统的检测速度范围为40-60帧。

34、根据本发明提供的具体实施例，本发明公开了以下技术效果：

35、本发明提供了一种基于特征增强的航拍旋转小目标检测方法，包括：获取待测航拍数据集；对所述待测航拍数据集进行数据增强，得到增强后的待测航拍数据集；构建旋转目标检测系统；将所述增强后的待测航拍数据集输入至所述旋转目标检测系统进行实时检测，得到检测结果；所述构建旋转目标检测系统的构建方法为：构建旋转目标检测网络，并针对航拍小目标场景进行优化，得到优化后的旋转目标检测网络；基于所述增强后的待测航拍数据集，对所述优化后的旋转目标检测网络进行训练，得到训练后的旋转目标检测网络；对所述训练后的旋转目标检测网络进行轻量化处理并部署至边缘计算器，得到旋转目标检测系统。本发明使用了一种混合空间金字塔池化模型，通过引入均值池化等操作，强化了弱显著前景信息的关注度，从而显著提升了小目标检测准确性；在检测网络中引入simam注意力机制，有效增强了上下文联系，提高了模型对密集小目标的关注度，有效解决了因图像背景复杂造成的密集小目标误检漏检等问题；将原网络中的ciou损失函数替换为更适用于航拍小目标检测的nwdloss损失函数，有效提升了航拍小目标检测的准确性；使用旋转矩形框的长边表示法替换原有水平检测框，使得检测框能够更好地适应不同形状的目标，在处理细长、倾斜、密集等小目标时，旋转矩形框可以更准确地框住目标区域，大大提高了检测的精度；完成了上述网络的训练与轻量化处理，并将其部署至边缘计算器，实现了航拍小目标的高精度实时检测。

技术特征：

1.一种基于特征增强的航拍旋转小目标检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，对所述待测航拍数据集进行数据增强，得到增强后的待测航拍数据集，包括：

3.根据权利要求1所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，所述构建旋转目标检测网络，并针对航拍小目标场景进行优化，得到优化后的旋转目标检测网络，包括：

4.根据权利要求3所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，将所述旋转目标检测网络引入混合空间金字塔模型，得到强化前景信息网络，包括：

5.根据权利要求3所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，所述simam注意力机制通过能量来表示特征重要程度，其中，所述

6.根据权利要求3所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，所述旋转矩形框的长边表示法为将待检测目标表示为一个矩形边界框，其中长边与目标的主要方向对齐，短边与次要方向对齐。

7.根据权利要求1所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，对所述训练后的旋转目标检测网络进行轻量化处理并部署至边缘计算器，得到旋转目标检测系统，包括：

8.根据权利要求1所述的一种基于特征增强的航拍旋转小目标检测方法，其特征在于，所述旋转目标检测系统的检测速度范围为40-60帧。

技术总结
本发明提供了一种基于特征增强的航拍旋转小目标检测方法，包括：获取待测航拍数据集；对待测航拍数据集进行数据增强，得到增强后的待测航拍数据集；构建旋转目标检测系统；将航拍数据集输入至检测系统进行实时检测，得到检测结果；构建旋转目标检测系统包括：构建旋转目标检测网络，并针对航拍小目标场景进行优化，得到优化后的旋转目标检测网络；基于增强后的待测航拍数据集，对优化后的旋转目标检测网络进行训练，得到训练后的旋转目标检测网络；对训练后的旋转目标检测网络进行轻量化处理并部署至边缘计算器，得到旋转目标检测系统。本发明解决了由航拍目标方向排列任意、背景复杂、目标尺寸小、目标尺度差异较大而造成的检测性能差的问题。

技术研发人员：刘桂华,唐雪,邓豪,陈春梅,徐锋
受保护的技术使用者：西南科技大学
技术研发日：
技术公布日：2024/5/10