基于显著性图数据增强的飞行器智能识别与检测方法与流程

本发明涉及飞行器的智能识别与检测技术，尤其涉及基于显著性图数据增强的飞行器智能识别与检测方法。

背景技术：

1、空中目标的敌我识别、类型识别一直是当代军事领域和计算机视觉领域研究的热点。在飞行器识别的任务中，传统的飞行器图片识别检测方法需要人工来进行特征工程。但随着航空工业技术的不断发展，飞行器种类越来越多，飞行器图片数据也呈指数级别的增长，通过人工的方式来处理这些数据越来越困难。

2、随着深度学习技术的发展，以前需要通过人工完成的特征工程如今使用深度学习模型就可以自动提取出飞行器中最具描述性的特征并进行端到端的学习和识别。但是飞行器图片受飞行姿态、天气光照、焦距距离等客观因素的影响，导致输入到模型中的图像特征并不清晰，模型没有学习到飞行器图片中的关键特征，影响最终的识别精度。除了数据的质量外，数据的数量也是影响模型结果的关键因素。但相较于工业界有较多应用场景和数据采集资源，空中飞行器的图像资源则较为短缺，没有涵盖各种类型飞行器的公开数据集，数据资源参差不齐，飞行器图片质量难以保障；再加上该应用场景下的研究通常会涉及到军用场景，敏感性极强，使得数据获取的途径更加稀少，可供模型使用的数据量严重不足。

3、目前针对飞行器识别的研究主要集中在遥感图像方面，该类任务中的飞行器图片呈现的大多是一定区域内停靠在机场的飞行器，其数量较多，且目标很小，若将该任务下的模型进行预训练后应用于单一飞行器的识别任务中，会因为神经网络学习到的飞行器特征并不全面、模型泛化性较弱，而导致最终的识别结果不尽如人意。

4、在面对数据资源有限甚至稀少的情况下，要保证模型最终的结果，则需要对飞行器图片数据进行预处理，以增强飞行器图片中的特征信息，使得模型能够在有限的飞行器图片中提取到更多的语义信息。数据增强是进行数据预处理的方式之一，目的是使模型关注到更深层次，更加本质的特征，从而提升模型的鲁棒性，增强泛化能力。

5、深度学习发展初期，lenet模型便应用数据增强来训练进行手写字符识别，在模型训练之前，便使用几种简单变换如平移，缩放，剪切等来进行数据增强。除了这些较为简单直接的变换方法，高斯噪声、椒盐噪声、高斯平滑、运动模糊、局部弹性变形和各种遮挡等更多样化的变换也在飞行器图片中逐步应用。随着深度学习的发展，模型越来越大，越来越复杂，数据增强技术也在随着逐步的发展。近年来，数据增强方面的进展可以分为两类：基于区域擦除和数据混合。

6、区域擦除：这类方法通过在训练中擦除飞行器图片的部分区域，旨在鼓励神经网络找到更多的鉴别区域。以cutout为代表的，通过随机移除输入训练飞行器图片的方形区域，以提高深度神经网络模型的鲁棒性。

7、基于数据混合：这类方法最近在图像分类领域受到广泛关注。与区域擦除增强相比，这些方法通过组合多张图像并相应地融合它们的标签，来生成新数据。基于线性组合的方式，mixup对样本进行融合，并使用相同的系数融合他们的标签，从而达到数据增强的目的。面向目标模糊的图像，mixup在提高模型性能方面展示除了其有事，但是缺点是增强后的图像看起来不自然且局部模糊。为此，基于非线性融合方式，研究者提出一种更为通用的数据增强方式，进一步地改进了mixup。后续研究者提出cutmix算法，通过剪切一个图像补丁，并粘贴到另一个图像来生成新图像。与mixup类似，cutmix算法中标签也是混合的，且与补丁的面积成比例。结合mixup和cutout两种方法的优势，cutmix在分类任务和弱监督定位任务中的效果更好。

8、然而，由于cutmix中补丁选择过程的随机性，该方法可能会输出一个不包含实体的像素区域，根据这个像素区域产生的融合标签，会进一步误导深度盛景网络输出错误的表征信息，影响数据扩充增强的效果，进而影响航空领域飞行器识别的效果。

技术实现思路

1、本发明的目的：为了有效缓解和解决飞行器识别模型训练样本不足、航空领域样本稀疏、小样本问题，本发明提出基于显著性图的数据增强方法。

2、本发明的技术方案：一种基于显著性图数据增强算法的飞行器智能识别与检测方法，包含以下步骤：

3、步骤1负责对飞行器图片添加标注信息；

4、步骤2通过对飞行器图片进行显著性检测，生成可视化的显著性图；

5、步骤3基于显著性确定补丁的中心点和大小；

6、步骤4保留补丁对应位置的像素点，将其他位置的像素点的值置为0，输出修改后的飞行器图片；

7、步骤5将修改后的飞行器图片作为新的训练样本，对模型进行训练；

8、步骤6生成新的预测模型。

9、所述步骤3中的补丁中心点确定方法，主要包含以下步骤：

10、步骤1基于原始飞行器图片生成显著性图；

11、步骤2基于显著性图，在原始飞行器图片中随机寻找像素点作为补丁的中心点；

12、步骤3确定补丁的大小；

13、步骤4根据补丁的中心点和大小确定补丁。

14、所述步骤2显著性检测结果即为像素点的显著性的分布程度，根据显著性的分布程度生成显著性图。

15、在原始飞行器图片中寻找显著性最大的像素点作为补丁的中心点。

16、根据均匀分布以及图像裁剪百分比参数确定补丁的大小。

17、图像裁剪百分比参数定义为裁剪的图像面积与整个图像的面积的比率。

18、所述步骤4具体为：选择i_s作为待增强图像样本，基于补丁区域保留图像i_s的补丁区域的像素点，补丁的补集部分的像素点的值改为0。

19、飞行器图片样本数据是通过机载可见光和红外摄像头收集的图像数据。

20、模型进行训练方法为有监督的机器学习训练方法。

21、所述步骤1是利用labelimage标注工具对数据进行标注。

22、本发明的有益效果：本发明提出基于显著性图的数据增强方法，可以有效缓解和解决飞行器识别模型训练样本不足、航空领域样本稀疏、小样本问题，从而扩充基于深度学习和数据驱动的飞行器模型的训练数据的数量，增加飞行器模型的训练数据的多样性和可用性，提升飞行器识别的效果，从而为深度机器学习在航空领域目标识别提供支撑，提出数据增强方法可以用于提升yolox等大多数目标和检测方法的效果，适用于f22等多种飞行器识别应用。

23、本发明主要有以下特点：受限提取面向重要实体的显著性图，即关于飞行器对象的显著性图。然后，基于显著性峰值区域，生成用于数据增强的补丁。

技术特征：

1.一种基于显著性图数据增强算法的飞行器智能识别与检测方法，其特征在于，包含以下步骤：

2.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别与检测方法，其特征在于，所述步骤3中的补丁中心点确定方法，主要包含以下步骤：

3.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，所述步骤2显著性检测结果即为像素点的显著性的分布程度，根据显著性的分布程度生成显著性图。

4.如权利要求2所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，在原始飞行器图片中寻找显著性最大的像素点作为补丁的中心点。

5.如权利要求2所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，根据均匀分布以及图像裁剪百分比参数λ确定补丁的大小。

6.如权利要求5所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，图像裁剪百分比参数λ定义为裁剪的图像面积与整个图像的面积的比率。

7.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，所述步骤4具体为：选择is作为待增强图像样本，基于补丁区域保留图像is的补丁区域的像素点，补丁的补集部分的像素点的值改为0。

8.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，飞行器图片样本数据是通过机载可见光和红外摄像头收集的图像数据。

9.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，模型进行训练方法为有监督的机器学习训练方法。

10.如权利要求1所述的基于显著性图数据增强算法的飞行器智能识别方法，其特征在于，所述步骤1是利用labelimage标注工具对数据进行标注。

技术总结
本发明涉及飞行器的智能识别与检测技术，尤其涉及基于显著性图数据增强的飞行器智能识别与检测方法。本发明受限提取面向重要实体的显著性图，即关于飞行器对象的显著性图。然后，基于显著性峰值区域，生成用于数据增强的补丁，可以有效缓解和解决飞行器识别模型训练样本不足、航空领域样本稀疏、小样本问题，从而扩充基于深度学习和数据驱动的飞行器模型的训练数据的数量，增加飞行器模型的训练数据的多样性和可用性，提升飞行器识别的效果，从而为深度机器学习在航空领域目标识别提供支撑，提出数据增强方法可以用于提升YOLOX等大多数目标和检测方法的效果，适用于F22等多种飞行器识别应用。

技术研发人员：陈鹏鹏,王若,邢晨光,刘波
受保护的技术使用者：中国航空研究院
技术研发日：
技术公布日：2024/1/14