一种基于切片辅助网络模块的图像小目标检测方法及装置

本发明涉及目标检测，尤其涉及一种基于切片辅助网络模块的图像小目标检测方法及装置。

背景技术：

1、复杂背景图像小目标检测识别具有很高的应用价值，比如卫星遥感图像、无人机等小型飞行器采集的图像，结合目标检测和识别技术，很容易做到对目标进行远距离隐蔽式的跟踪，也可以快速的完成数量统计、密度预测等工作。然而，由于拍摄距离远，视场范围广，目标通常非常小，纹理特征非常弱，背景非常复杂，且容易存在目标密集度高、目标遮挡重叠的特点，因而准确的检测识别地面目标是非常具有挑战的。目前针对小目标检测的算法，如基于yolo系列、faster-rcnn系列、ssd系列的方法，大多通过训练coco数据集完成对较为明显、面积较大的目标的检测识别，对小目标的检测能力非常一般。融合了特征金字塔，或者调整网络层数的改进型方法，检测效果有一定提高。通常卷积神经网络是通过多次卷积将图像特征转变为抽象特征，通过多次的特征提取，逐渐将区分性特征归纳总结出来，但对于小目标，其所占图像面积小，像素少，随着网络层数的增加，该部分区域的图像特征越来越少，深层的网络层已经提取不到足够的小目标特征了，因此现有的大多数网络都忽略了这一点。此外，在模型的推理阶段，输入的图像经过了尺寸归一化，高清的图像往往被归一化为较小的尺寸，进一步减小了目标尺寸，造成了漏检，降低了检测识别准确率。

技术实现思路

1、本发明的目的在于克服现有技术的不足，本发明提供了一种基于切片辅助网络模块的图像小目标检测方法及装置，可以保持图像中小目标的原始分辨率；同时实现小目标检测准确率的显著提升，大大降低了漏检率。

2、为了解决上述技术问题，本发明实施例提供了一种基于切片辅助网络模块的图像小目标检测方法，所述方法包括：

3、将待检测图像输入切片辅助网络模块中的sa-1模块，在所述sa-1模块中对所述待检测图像进行自适应的切片处理，获得切片待检测图像；

4、将所述切片待检测图像输入优化后的yolov5深度网络中进行特征提取处理，获得提取特征；

5、将所述提取特征经过所述优化后的yolov5深度网络中进行concat操作处理，形成融合特征；

6、将所述融合特征依次经过所述优化后的yolov5深度网络中csp_2模块和conv卷积进行处理，获得多个预测特征图；

7、将所述多个预测特征图输入切片辅助网络模块中的sa-2模块进行nms处理，且在且切片重叠区域通过iou大于设定阈值的方式进行重复检测剔除处理，获得检测结果。

8、可选的，所述切片辅助网络模块包括sa-1模块和sa-2模块；其中，所述sa-1模块用于根据优化后的yolov5深度网络需要的归一化尺度，对输入的待检测图像进行自适应的切片；所述sa-2模块用于在切片待检测图像经过前向推理之后，对每个独立的预测特征图进行nms处理。

9、可选的，所述sa-1模块用于根据优化后的yolov5深度网络需要的归一化尺度，对输入的待检测图像进行自适应的切片时，在所述归一化尺度为s×s时，对输入的待检测图像进行自适应切片的切片尺寸选择范围为[0.5*s，1.2*s]；

10、输入的待检测图像分辨率为l×h，其中长为l，宽为h，优化后的yolov5深度网络需要的归一化尺度为s×s，则自适应切片的尺寸为sbase，则有：

11、

12、其中，sbase小于l和h中的最小者；同时sbase表示32倍数的最大者。

13、可选的，所述sa-1模块对输入的待检测图像的x轴切片的次数为切片的尺寸为sbase，切片基数为i，若长l能够被sbase整除，则i＝l/sbase；若长l不能够被sbase整除，则i小于等于(l/sbase)+1的最大整数；

14、所述sa-1模块对输入的待检测图像的y轴切片的次数为切片的尺寸为sbase，切片基数为j，若宽h能够被sbase整除，则j＝h/sbase；若长h不能够被sbase整除，则j小于等于(h/sbase)+1的最大整数。

15、可选的，所述sa-1模块对输入的待检测图像进行切片时，所述待检测图像的左上角图像坐标和右下角图像坐标分别为：

16、

17、

18、当p2x>l时：

19、

20、当p2y>h时：

21、

22、其中，p1表示左上角图像坐标；p2表示右下角图像坐标；hbase表示切片的尺寸；l表示待检测图像的长；s表示待检测图像的宽；i、j表示切片基数。

23、可选的，所述sa-2模块还用于在切片重叠区域通过iou大于设定阈值的方式，剔除重复检测的同一类目标预测框；

24、将切片m(i,j)的检测框映射回原始图像中，原始图像检测框左上角坐标sp1和右下角坐标sp2计算方法：

25、

26、

27、其中，(x1,y1)表示切片检测框的左上角；(x2,y2)表示切片检测框的右下角；

28、当(i+1)×sbase>l时：

29、

30、当(j+1)×sbase>h时：

31、

32、其中，sbase表示切片的尺寸；l表示待检测图像的长；h表示待检测图像的宽；i＝0,1,2,...i，j＝0,1,2,...j，i、j表示切片基数。

33、可选的，所述yolov5深度网络的优化过程包括：

34、在所述yolov5深度网络的检测头部增加一层对特征图进行上采样模块，同时将上采样得到特征图与骨干网络中的第一个个bottleneckcsp模块提取的浅层特征图进行融合；

35、将所述切片辅助网络模块集成到所述yolov5深度网络中，用于对输入的待检测图像进行切片处理和切片重叠区域统一类型目标冗余检测框的滤除。

36、可选的，所述将所述切片待检测图像输入优化后的yolov5深度网络中进行特征提取处理，获得提取特征，包括：

37、将所述切片待检测图像输入优化后的yolov5深度网络中，依次经过cbl卷积、csp模块、激活函数、上采样的处理，提取到所述切片待检测图像的尺度和深度的提取特征。

38、可选的，所述多个预测特征图为四个预测特征图，其中四个预测特征图的尺寸分别为152*152、76*76、38*38、19*19。

39、另外，本发明实施例还提供了一种基于切片辅助网络模块的图像小目标检测装置，所述装置包括：

40、切片模块：用于将待检测图像输入切片辅助网络模块中的sa-1模块，在所述sa-1模块中对所述待检测图像进行自适应的切片处理，获得切片待检测图像；

41、特征提取模块：用于将所述切片待检测图像输入优化后的yolov5深度网络中进行特征提取处理，获得提取特征；

42、特征融合模块：用于将所述提取特征经过所述优化后的yolov5深度络中进行concat操作处理，形成融合特征；

43、网卷积处理模块：用于将所述融合特征依次经过所述优化后的yolov5深度网络中csp_2模块和conv卷积进行处理，获得多个预测特征图；

44、nms处理模块：用于将所述多个预测特征图输入切片辅助网络模块中的sa-2模块进行nms处理，且在且切片重叠区域通过iou大于设定阈值的方式进行重复检测剔除处理，获得检测结果。

45、在本发明实施例中，利用了浅层网络中含有较为丰富的小目标特征，在yolov5检测头部增加了一层对特征图进行上采样处理，继续扩大特征图，同时将上采样得到的特征图与骨干网络中的第一个bottleneckcsp模块提取的浅层特征图进行融合，以获得更丰富的特征进行小目标检测，解决了网络层数多导致的小目标图像特征丢失的问题；为避免图像归一化导致的图像尺寸降低，小目标分辨率将进一步变小的问题，设计了切片辅助网络模块，将原始图像切片处理，保持了图像中小目标的原始分辨率，在切片图像经过模型推理之后，利用nms和iou删除冗余的检测框和切片重叠区域冗余的同类型的目标检测框，实现小目标检测准确率的显著提升，大大降低了漏检率。