基于可学习提议和激活图的小目标识别方法与流程

本发明属于图像处理，具体涉及一种基于可学习提议和激活图的小目标识别方法。

背景技术：

1、随着无人机技术的发展，在当今社会，无人机视角下目标检测已经成为人们日常生活和各领域工作中的重要应用之一，通过无人机拍摄的图像或视频，结合目标检测算法等技术手段，可以快速、准确地识别和定位目标，如人、车、建筑物、农作物等。它能够广泛地应用到公共安全、建筑工程、农业等领域中，如进行情报收集、监测火灾、检测建筑物损伤、监测农作物生长状态等。

2、但是由于无人机视角场景，目标分布不均匀，目标尺度小且尺度变化大等特性，传统的目标检测方法无法适应无人机视角场景。而目前的无人机视角的小目标检测器，主要在两个方面有所欠缺。首先是模型的复杂度，现有无人机视角的小目标检测器通常通过两个阶段的检测，首先使用粗糙检测器粗略检测目标分布，再使用精细检测器细化目标的分布。它们通常没法做到端到端的实施，结果过于复杂。其次是模型的效率，现有无人机视角的小目标检测器为了适应分布不均匀和尺度小的难题，会根据目标分布将图片切成多个子图然后再分别检测，最后将检测结果融合，但是这样的方式非常耗时，且会存在子图截断目标等情况。

3、而近期新出现的基于可学习提议的目标检测器如sparse r-cnn等，能够让提议自动学习目标分布，且因为采用一对一的训练策略，无需非极大值抑制后处理，在密集情况下，不会错误滤掉正确目标。但是这种基于可学习提议的目标检测器仍然无法适应无人机视角中极端尺度变化的情况，且会有大量的可学习提议检测到无用区域从而影响效率。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于可学习提议和激活图的小目标识别方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于可学习提议和激活图的小目标识别方法，包括：

3、构建基于可学习提议和激活图的小目标识别网络，所述小目标识别网络包括骨干网络、特征金字塔网络、激活图生成网络、尺度分离可学习提议模块和动态头，其中，所述骨干网络和所述特征金字塔网络用于获得原始图像具有不同尺度和语义信息的多级特征图，所述激活图生成网络用于对所述多级特征图进行处理，获得不同尺度等级的激活图；所述尺度分离可学习提议模块用于通过可学习提议框提取不同尺度等级的特征图上的感兴趣区域特征，并通过将所述感兴趣区域特征与可学习提议特征进行交互，然后通过所述动态头生成新的可学习提议，通过不断细化可学习提议最终得到识别结果；

4、利用训练数据集对所述小目标识别网络进行训练，获得训练后的小目标识别网络；

5、将待识别的原始图像输入所述训练后的小目标识别网络，获得识别结果。

6、在本发明的一个实施例中，所述激活图生成网络生成的激活图的数量与所述特征金字塔网络输出的多级特征图的数量相同，激活图生成网络包括多个卷积核大小为3×3的卷积块。

7、在本发明的一个实施例中，所述激活图生成网络的激活图伪标签为：

8、

9、

10、其中，表示所有ab的并集，d(x,y)表示点(x,y)到目标(xc,yc,w,h)中心点的欧式距离(xc,yc)表示目标的中心点坐标，w,h表示目标边界框的宽和高，ra是r的倍数。

11、在本发明的一个实施例中，所述激活图生成网络的激活图损失函数为：

12、l＝fl(a,agt)，

13、其中，fl表示focal loss，focal loss的表达式为：

14、lfl＝-(1-pt)γlog(pt)，

15、其中，表示所述激活图生成网络预测样本属于正样本的概率，γ为可调参数，y表示标签，值为0或1。

16、在本发明的一个实施例中，所述尺度分离可学习提议模块包括多个可学习提议，所述多个可学习提议根据目标尺度等级划分为多个尺度组，将目标利用目标尺度分离策略划分为不同的尺度等级，并分配至对应的尺度组，其中，所述目标尺度分离策略为：

17、对于一个目标b＝(xc,yc,w,h)，其中，(xc,yc)表示目标的中心点，w,h表示目标边界框的宽和高，将目标b划分为不同的尺度等级的划分公式为：

18、

19、其中，a表示划分的尺度等级，l0，s为经验阈值。

20、在本发明的一个实施例中，在训练阶段进行训练样本集中的训练样本分配时，目标标签根据其所在的尺寸等级分配至对应等级的特征图上计算损失函数，以保证特定等级尺度组的可学习提议仅预测特定尺寸等级的目标。

21、在本发明的一个实施例中，所述尺度分离可学习提议模块包括多个可学习提议，每个可学习提议包括一个可学习提议框和一个可学习提议特征，每个可学习提议框包含四个参数：可学习提议框中心的横坐标和纵坐标以及可学习提议框的宽度和高度，用于获得提议框区域内的感兴趣区域；所述可学习提议特征包括一个一维特征，所述一维特征能够与所述感兴趣区域进行交互作用，将得到的特征送入对应的动态头中。

22、在本发明的一个实施例中，所述可学习提议的数量大于训练过程中训练样本集中目标的数量。

23、在本发明的一个实施例中，所述训练数据集中包括多个训练图像，所述训练图像包括目标标签，所述目标标签包含目标的类别以及目标的宽度、高度、左上角的横坐标和纵坐标。

24、在本发明的一个实施例中，所述尺度分离可学习提议模块还用于采用激活图引导可学习提议的生成，滤掉无目标区域的可学习提议，具体地，

25、滤掉激活图中低于预定阈值ta的点，得到仅包含目标区域的新的激活图a；

26、根据激活图a，在使用可学习提议时，仅保留有目标区域的点的可学习提议，从而提取出目标特征。

27、与现有技术相比，本发明的有益效果有：

28、本发明基于可学习提议和激活图的小目标识别方法，针对无人机视角下的小目标分布不均匀的问题，使用可学习提议来自适应学习小目标的分布情况，并使用一对一的匹配策略而不使用非极大值抑制后处理，避免在密集场景下错误滤掉正确目标；针对无人机视角下的目标小且尺度极端变化的问题，使用尺度分离化训练以提高可学习提议的尺度感知能力，并将可学习提议以尺度解耦，同时使用激活图伪标签为小目标训练提供了额外的监督，从而提升了小目标检测性能；最后，针对无人机视角下小目标检测中检测器效率的问题，采用激活图机制，滤掉图像中无目标区域的可学习提议，从而大大减少计算量。

29、本发明相比现有方法提出了一个新的一阶段的端到端的小目标检测框架，大大简化了小目标检测框架并提高检测效率，同时性能也优于现有的小目标检测方法，因此能够应用在无人机检测场景中。

30、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于可学习提议和激活图的小目标识别方法，其特征在于，包括：

2.根据权利要求1所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述激活图生成网络生成的激活图的数量与所述特征金字塔网络输出的多级特征图的数量相同，激活图生成网络包括多个卷积核大小为3×3的卷积块。

3.根据权利要求2所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述激活图生成网络的激活图伪标签为：

4.根据权利要求3所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述激活图生成网络的激活图损失函数为：

5.根据权利要求1所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述尺度分离可学习提议模块包括多个可学习提议，所述多个可学习提议根据目标尺度等级划分为多个尺度组，将目标利用目标尺度分离策略划分为不同的尺度等级，并分配至对应的尺度组，其中，所述目标尺度分离策略为：

6.根据权利要求5所述的基于可学习提议和激活图的小目标识别方法，其特征在于，在训练阶段进行训练样本集中的训练样本分配时，目标标签根据其所在的尺寸等级分配至对应等级的特征图上计算损失函数，以保证特定等级尺度组的可学习提议仅预测特定尺寸等级的目标。

7.根据权利要求1所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述尺度分离可学习提议模块包括多个可学习提议，每个可学习提议包括一个可学习提议框和一个可学习提议特征，每个可学习提议框包含四个参数：可学习提议框中心的横坐标和纵坐标以及可学习提议框的宽度和高度，用于获得提议框区域内的感兴趣区域；所述可学习提议特征包括一个一维特征，所述一维特征能够与所述感兴趣区域进行交互作用，将得到的特征送入对应的动态头中。

8.根据权利要求7所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述可学习提议的数量大于训练过程中训练样本集中目标的数量。

9.根据权利要求1所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述训练数据集中包括多个训练图像，所述训练图像包括目标标签，所述目标标签包含目标的类别以及目标的宽度、高度、左上角的横坐标和纵坐标。

10.根据权利要求1至9中任一项所述的基于可学习提议和激活图的小目标识别方法，其特征在于，所述尺度分离可学习提议模块还用于采用激活图引导可学习提议的生成，滤掉无目标区域的可学习提议，具体地，

技术总结
本发明公开了一种基于可学习提议和激活图的小目标识别方法，包括：构建小目标识别网络，该小目标识别网络包括骨干网络、特征金字塔网络、激活图生成网络、尺度分离可学习提议模块和动态头，其中，骨干网络和特征金字塔网络用于获得具有不同尺度和语义信息的多级特征图，激活图生成网络用于获得不同尺度等级的激活图；尺度分离可学习提议模块用于通过可学习提议框提取特征图上的感兴趣区域特征，并通过动态头生成新的可学习提议，不断细化得到识别结果；对小目标识别网络进行训练；将原始图像输入训练后的小目标识别网络，获得识别结果。本发明提出一种一阶段的端到端的小目标检测框架，大大简化了小目标检测框架并提高检测效率。

技术研发人员：钱学明,尹能中,刘成旭,赵国帅,薛尧
受保护的技术使用者：陕西域览九州智能光电科技有限公司
技术研发日：
技术公布日：2024/1/16