图像小目标检测方法、系统、设备及介质

本发明涉及图像小目标检测，特别是涉及图像小目标检测方法、系统、设备及介质。

背景技术：

1、本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

2、目标检测作为计算机视觉领域中的一个重要研究任务，是场景理解、目标跟踪和图像描述等高层次视觉任务的基础。其中，由于微小目标(一般是指尺度小于32像素的目标)外观信息少，易受光照剧烈变化、目标紧密相连和目标尺度变化等因素的影响，小目标检测(tiny object detection，tod)至今仍是目标检测技术中最具有挑战的任务之一。在机场跑道或汽车自动驾驶中路面异物检测、卫星遥感图像分析、视频远距离监控、工业中材料表面较小缺陷检测等方面有着特殊且重要的理论和实践意义，并具有很好的应用价值，特别有助于避免事故或者经济损失。然而，目前深度学习模型普遍在迁移性、泛化性、鲁棒性、理论解释性等方面存在问题。

3、小目标检测往往存在目标相对尺度小，背景占比大等问题，这导致了目前小目标检测算法需要计算过多的背景区域，存在大量计算冗余。目标检测通常可以分为两类，anchor-base和anchor-free。anchor-base的方法通常预设固定的锚框，依据锚框与gt的交并比(iou)分配标签。现有的锚设计对小目标并不友好。对大目标来说，锚框偏移一个像素，iou变化幅度较小；而对小目标来说，锚框偏移一个像素，iou变化幅度巨大，这是小目标正样本数量远少于大目标的重要原因之一。anchor-free通常通过判断点是否在目标内来分配正负样本。另一种思路是将目标检测转化为关键点估计，即利用网络学习到的目标关键点组成预测边界框等。

4、在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：

5、小目标在图像中像素占比往往比较小，导致存在正负样本数量差距巨大和特征信息的缺乏等问题，现有的小目标检测算法无法准确地判断小目标的位置和类别。

技术实现思路

1、为了解决现有技术的不足，本发明提供了图像小目标检测方法、系统、设备及介质，能够准确地判断小目标的位置和类别。

2、一方面，提供了图像小目标检测方法；

3、图像小目标检测方法，包括：

4、获取待检测的目标图像；

5、将目标图像输入到训练后的小目标检测网络中，输出检测的小目标；

6、其中，训练后的小目标检测网络，用于：

7、对目标图像进行特征提取，得到特征图；对特征图进行多尺度特征子图，得到多尺度子特征图；

8、对多尺度子特征图进行目标响应度生成，得到目标响应图；

9、对多尺度子特征图进行查询增强处理，得到多尺度的查询增强输出图；

10、基于多尺度的查询增强输出图和目标响应热力图，进行自适应采样和自适应裁剪处理，得到生成的锚框；基于生成的锚框，生成小目标的位置和类别。

11、另一方面，提供了图像小目标检测系统；

12、图像小目标检测系统，包括：

13、获取模块，其被配置为：获取待检测的目标图像；

14、检测模块，其被配置为：将目标图像输入到训练后的小目标检测网络中，输出检测的小目标；

15、其中，训练后的小目标检测网络，用于：

16、对目标图像进行特征提取，得到特征图；对特征图进行多尺度特征子图，得到多尺度子特征图；

17、对多尺度子特征图进行目标响应度生成，得到目标响应热力图；

18、对多尺度子特征图进行查询增强处理，得到多尺度的查询增强输出图；

19、基于多尺度的查询增强输出图和目标响应热力图，进行自适应采样和自适应裁剪处理，得到生成的锚框；基于生成的锚框，生成小目标的位置和类别。

20、再一方面，还提供了一种电子设备，包括：

21、存储器，用于非暂时性存储计算机可读指令；以及

22、处理器，用于运行所述计算机可读指令，

23、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

24、再一方面，还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

25、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

26、上述技术方案中的一个技术方案具有如下优点或有益效果：

27、本发明提出了目标响应度生成模块or-net，找到响应度高的区域，即目标所在的区域，以提升网络在小目标所在区域的关注度与识别能力，用于生成目标响应程度热力图，引导检测器对目标进行粗定位。同时，基于此网络设计了自适应样本分配算法，合理划分样本类别，从而以提升小目标检测的性能。

28、本发明设计了自上而下的查询增强模块，实现查询仅存在小目标的区域并针对增强特征，帮助检测网络自适应地融合多尺度特征信息，从而增强小目标语义信息的传播。

29、针对高分辨率图像无法直接输入网络的问题，本发明提出了基于目标响应模块or-net的图像自适应裁剪算法，替代传统的裁剪操作。自适应裁剪算法能够帮助提升小目标的相对尺度，同时在一定程度上结合了图像全局信息，可以减少在裁剪区域内出现无目标情况的概率，提升网络学习效率。

技术特征：

1.图像小目标检测方法，其特征是，包括：

2.如权利要求1所述的图像小目标检测方法，其特征是，所述训练后的小目标检测网络，其网络结构包括：

3.如权利要求2所述的图像小目标检测方法，其特征是，所述目标响应生成模块，包括：

4.如权利要求2或3所述的图像小目标检测方法，其特征是，所述目标响应生成模块，工作过程包括：

5.如权利要求2所述的图像小目标检测方法，其特征是，所述聚焦模块，包括：并列的第五、第六、第七和第八分支；

6.如权利要求2或3所述的图像小目标检测方法，其特征是，所述聚焦模块，工作过程包括：

7.如权利要求2所述的图像小目标检测方法，其特征是，所述自适应裁剪模块，用于：

8.图像小目标检测系统，其特征是，包括：

9.一种电子设备，其特征是，包括：

10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明公开了图像小目标检测方法及系统；其中方法，包括：获取待检测的目标图像；将目标图像输入到训练后的小目标检测网络中，输出检测的小目标；其中，训练后的小目标检测网络，用于：对目标图像进行特征提取，得到特征图；对特征图进行多尺度特征子图，得到多尺度子特征图；对多尺度子特征图进行目标响应生成，得到目标响应热力图；对多尺度子特征图进行聚焦处理，得到多尺度的聚焦增强输出图；基于多尺度的聚焦增强输出图和目标响应热力图，进行自适应采样和自适应裁剪处理，得到生成的锚框；基于生成的锚框，生成小目标的位置和类别。

技术研发人员：高珊珊,戴洪浩,刘峥,迟静,潘晓,黄红
受保护的技术使用者：山东财经大学
技术研发日：
技术公布日：2024/1/15