一种无人机对地目标易损部位识别方法

本发明涉及无人机捕获图像目标检测，特别涉及一类无人机对地目标易损部位识别方法。

背景技术：

1、随着深度学习的爆炸式发展，智能目标识别作为一项面向探测预警、情报侦察、态势感知、精确制导等多个军事应用领域的关键使能技术，已成为近年来的研究热点并取得了一系列积极成果。精确识别目标关键部位，对于节约打击成本，提高打击效率具有重要意义。

2、文献“augmented reality maintenance assistant using yolov5”提出了一种基于yolov5的汽车零部件检测模型，试验结果表明模型具有较高的检测精度和泛化能力，可以推广到市场上所有车型。然而，这些方法仅考虑了单一类别物体的部位检测问题，针对多种类别物体、识别不同特定区域的研究尚处于空白。

技术实现思路

1、本发明的目的在于提供一种无人机对地目标易损部位精确识别方法，以解决针对无人机遥感图像，在整体目标检测框架基础上，对不同类别目标的不同关键部位进行检测的问题。

2、为了达到所述目的，本发明采用以下技术方案：

3、一种无人机对地目标易损部位识别方法，该方法的步骤包括：

4、步骤1，构建基于先验类别知识的易损部位目标检测深度学习模型，具体为：

5、步骤1.1：通过改进的空间变换模块对输入的整体目标检测图像进行预处理，通过调整输入图像大小和目标位姿，提取高质量的整体目标检测建议框。

6、步骤1.2：使用一组基础的“卷积+relu+池化层”来提取图片的特征图。

7、步骤1.3：利用整体目标检测器输出的分类结果，通过类别相关特征重标定模块对特征图进行重标定。

8、步骤1.4：重标定的特征图通过区域生成网络提取多个候选区域。

9、步骤1.5：对于每个候选区域，判断其正负属性，并提取每个正候选区域的特征表示。

10、步骤1.6：对每个区域的特征进行分类操作，判断该易损部位的类别(如履带、炮塔)，并返回相应的置信度。

11、步骤1.7：步骤1.6的同时，对每个区域的边界框进行回归操作，微调其位置以更准确的框出易损部位的位置。

12、步骤1.8：根据区域分类的结果，可以对重叠较大的候选框进行筛选以去除冗余的检测结果。

13、步骤2：建立无人机捕获对地军事目标易损部位检测数据集，具体的：

14、步骤2.1：地面放置3～6种军事目标(如坦克、步兵战车、雷达天线车、无人机等)和其他干扰物体(如战壕、运输车)，模拟无人机在执行巡航搜索和俯冲攻击等任务时所捕获到的对地图像，建立无人机捕获对地军事目标检测数据集。

15、步骤2.2：将无人机捕获对地军事目标检测数据集输入到整体目标检测器中，并根据检测结果提取其整体目标检测框，该裁剪后的结果将组成我们的无人机捕获对地军事目标易损部位检测数据集。

16、步骤2.3：随机选取60％的无人机捕获对地军事目标图像作为训练集，40％的检测数据作为测试集。

17、步骤3：训练步骤1中构建的基于先验类别知识的易损部位目标检测深度学习模型，具体的：

18、步骤3.1：设置训练参数，利用随机优化算法adam进行训练，训练批次的大小设置为batch＝12，动量momentum＝0.9，学习率初始设定为ir＝0.001，训练迭代次数epoch＝100；

19、步骤3.2：将步骤2.3中得到的无人机捕获对地军事目标易损部位数据集中的训练集送入步骤1中，构建基于先验类别知识的易损部位目标检测深度学习模型；

20、步骤3.3：根据网络设定的输入图片尺寸大小实现自适应训练集输入图像的缩放；

21、步骤3.4：训练基于先验类别知识的易损部位目标检测深度学习模型，根据训练集结果的平均精度变化和损失变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数；

22、步骤3.5：根据步骤3.4确定的学习率和迭代次数，完成基于先验类别知识的易损部位目标检测深度学习模型的训练，得到收敛良好的基于先验类别知识的易损部位目标检测深度学习模型。

23、步骤4：将步骤2.2中得到的无人机捕获对地军事目标易损部位检测数据集中的测试集送入步骤3.5中训练好的基于先验类别知识的易损部位目标检测深度学习模型，测试基于先验类别知识的易损部位目标检测深度学习模型的性能。

24、步骤5：评估模型，具体的：

25、根据步骤4的测试结果，从平均检测精度和检测速度上对步骤3训练的基于先验类别知识的易损部位目标检测深度学习模型进行评估。

26、步骤6：判断基于先验类别知识的易损部位目标检测深度学习模型评估结果的检测精度和速度是否满足实际应用需求，若该模型满足实际应用需求，则执行步骤8，否则，执行步骤7；

27、步骤7：修正步骤1构建的基于先验类别知识的易损部位目标检测深度学习模型的宽度和深度，并跳转至步骤3.4重新训练；

28、步骤8：将步骤6中满足实际应用需求的基于先验类别知识的易损部位目标检测深度学习模型用于无人机捕获图像军事目标中易损部位的检测。

29、步骤1.1中所述的改进的空间变换模块为基于空间金字塔结构的空间变换网络，分为定位网络、网格生成器和采样器三个部分。具体的，步骤1.1包括以下步骤：

30、步骤1.1.1：定位网络，具体的：

31、利用卷积层调整特征通道的数量，提取显著特征；然后使用最大池化层进行下采样，减少卷积层参数误差噪声估计均值偏移的误差；最后采用relu激活函数对提取到的特征进行非线性变换。之后，重复“卷积层-最大池化层-relu激活函数”这一步骤，得到了保留关键信息的小尺度特征图。然后经过空间金字塔池化层后，输出为一固定维度的特征向量，然后经过“全连接层-激活函数-全连接层”后，得到具有6维参数的仿射变换矩阵aθ。

32、步骤1.1.2：网格生成器，具体的：

33、通过参数化网格采样，根据输入特征图和仿射变换矩阵，生成输出特征图中各坐标点位置。

34、

35、其中，(x,y)为输入特征图上的坐标，(u,v)为对应的采样网格上的坐标。

36、步骤1.1.3：采样器，具体的：

37、采样器通过双线性插值方法对采样网格数据进行校正，以保证输出图片中像素点始终为整数值。

38、步骤1.3中所述的类别相关特征重标定模块，具体可分为以下几个步骤：

39、步骤1.3.1：依次利用全局平均池化层、卷积层来生成输入特征图的高维特征表征；

40、步骤1.3.2：将整体目标检测器输出的分类结果表征为一通道特征符号；

41、步骤1.3.3：利用步骤1.3.1得到的高维特征表征和步骤1.3.2得到的通道特征符号，通过线性回归层等操作对步骤1.2得到的特征图进行重新标定。

42、与现有技术相比，本发明的有益效果为：

43、本发明首次提出了针对无人机遥感图像，在整体目标检测框架基础上，对不同类别目标的不同关键部位进行检测问题的方法。

44、由于本发明提出了基于空间金字塔结构的空间变换模块，解决了复杂环境下目标整体检测框架定位不准将直接影响目标关键部位检测精度的问题，可自适应调整目标位姿，从而提高目标关键部位的定位精度。

45、由于本发明设计了类别相关特征重标定模块，可以显示的建模“类别和易损部位位置”之间的强相关性，从而提高易损部位检测模型的鲁棒性和检测精度。

46、所提出的模型在不同iou阈值下，均表现了更优的定位结果。当iou阈值为0.9时，与传统faster-rcnn相比，所提出的检测框架检测精度提高了1.91倍，证明了本发明所提出方法的有效性。

47、本发明提供了一种无人机的对地目标易损部位精确识别方法。通过提出的空间变换模块，可以无监督的学习方式自适应的对输入图像进行仿射变换；并且，通过建立的类别相关特征重标定模块，可将先验类别信息融入到提取的特征图中。接下来构建用于模型训练的训练集和测试集，最后将生成的无人机捕获对地目标易损部位数据集送入构建好的基于先验类别知识的易损部位目标检测深度学习模型进行模型的训练、测试、评估；在模型构建阶段，空间变换模块可自适应的裁剪掉干扰物体，有利于提高模型的检测精度；类别相关特征重标定模块，可将先验类别信息引入空间网络中，有利于提高模型的鲁棒性。在评估阶段，通过调整模型的宽度和深度，优化模型的精确度和速度，以满足实际应用的需求。