结合点集预测和可形变卷积的目标检测方法

本发明属于深度学习领域，涉及目标检测技术，特别涉及一种结合点集预测和可形变卷积的目标检测方法。

背景技术：

1、现有的目标检测方法主要可以分为两大类：基于锚框的目标检测方法，基于锚点的目标检测方法。其中基于锚框的目标检测方法，它使用滑动窗口对每个锚点都分配一定个数的不同宽高比的锚框，然后计算出每个锚框与真实值的交并比，再通过预定义的阈值筛选出锚框的正类和负类部分，然后对筛选出来的提议框进行分类和回归，主要代表检测器包括faster r-cnn、yolov2、ssd等。另一种基于锚点的目标检测方法，它通过预测物体周围的点来来代替锚框的预测，只有当锚点落在物体中心的时候，才把该锚点当作正类，然后基于该点预测它距离真实框的上下左右四个方向的距离，根据该距离算出最终的提议框，再对提议框进行分类与回归，主要代表检测器包括yolov1、fcos、cornernet、centernet等。

2、然而现有的目标检测方法中，无论是基于锚框的方法还是基于锚点的方法，都是对提议框内的所有特征进行特征提取，将得到的提议框整个输出卷积层，然后对输出的特征进行分类。这种特征提取方法将提议框内所有特征进行提取，而不管它是前景特征还是背景特征，这样就会导致分类的精度大大降低，也会减弱对真实框的回归，降低了回归精度。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种结合点集预测和可形变卷积的目标检测方法，通过可形变卷积偏置对前景特征和少部分背景特征进行特征提取，从而提高了目标检测器分类和回归的精度。

2、为达到上述目的，本发明提供如下技术方案：

3、一种结合点集预测和可形变卷积的目标检测方法，其包括以下步骤：

4、s1、将待测图片输入骨干网络中进行基础特征提取得到特征图f1；

5、s2、将特征图f1输入颈部网络进行多尺度特征提取得到多尺度特征图f2，然后执行注意力机制得到特征图f3；

6、s3、将特征图f3输入头部网络中进行分类和回归，得到图片分类结果，包括：

7、s31、先将特征图f3输入三个连续的卷积块进行特征提取得到特征图f4；再将特征图f3输入另三个连续的卷积块中得到特征图f5；

8、s32、将特征图f4输入两个连续的卷积块中得到回归偏置offset1；再将特征图输入另两个连续的卷积块中得到特征图f6；将特征图f6和回归偏置offset1相加得到分类偏置offset2；

9、s33、将特征图f5、回归偏置offset1和分类偏置offset2输入一可形变卷积块中，再对可形变卷积块的输出结果进行分类和回归，即完成了对待测图片的分类。

10、进一步的，步骤s33中，可形变卷积表示为：

11、

12、式中，y(p0)表示对于每个点p0进行可形变卷积后的输出结果，pn表示采样前特征图上点的坐标，表示{(-1，-1)，(-1，0)，…，(0，1)，(1，1)}中的九个点，w(pn)表示点pn处的权重，x表示输入的特征图，δp0表示点p0的偏置。

13、进一步的，该方法针对边界框的回归，采用回归损失函数来提升边界框回归的准确度，该回归损失函数表示为：

14、

15、式中，iou表示预测框和真实框的交并比，b和bgt分别表示预测框和真实框的中心点，ρ2(b，bgt)表示两点之间的欧氏距离，l1为l1范数。

16、进一步的，步骤s2中，采用fpn(feature pyramid net)对特征图f1进行多次下采样和上采样，再将特征相加得到多尺度特征图f2，再通过dyhead(dynamic head)网络对特征图f2依次执行尺度注意力、空间注意力和任务注意力得到特征图f3。

17、本发明的有益效果在于：本发明能够在计算量和复杂度增加的情况下，提高检测器的精度，无论是客观的评价指标还是主观视觉效果，相较于现有目标检测方法均有明显提升。

18、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

技术特征：

1.一种结合点集预测和可形变卷积的目标检测方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的目标检测方法，其特征在于：步骤s33中，可形变卷积表示为：

3.根据权利要求1所述的目标检测方法，其特征在于：该方法针对边界框的回归，采用回归损失函数来提升边界框回归的准确度，该回归损失函数表示为：

4.根据权利要求1所述的目标检测方法，其特征在于：步骤s2中，采用fpn(featurepyramid net)对特征图f1进行多次下采样和上采样，再将特征相加得到多尺度特征图f2。

5.根据权利要求1所述的目标检测方法，其特征在于：步骤s2中，通过dyhead网络对特征图f2依次执行尺度注意力、空间注意力和任务注意力得到特征图f3。

技术总结
本发明涉及一种结合点集预测和可形变卷积的目标检测方法，属于目标检测技术领域。该方法包括：将待测图片输入骨干网络中进行基础特征提取得到特征图F<subgt;1</subgt;；将特征图F<subgt;1</subgt;输入颈部网络进行多尺度特征提取得到多尺度特征图F<subgt;2</subgt;，然后执行注意力机制得到特征图F<subgt;3</subgt;；将特征图F<subgt;3</subgt;输入头部网络中进行分类和回归，得到图片分类结果。本发明将点集与可形变卷积相结合，通过本方法提取的特征，因为可形变卷积偏置的缘故，将会只对前景特征和少部分背景特征进行特征提取，从而提高了目标检测器分类和回归的精度。

技术研发人员：唐述,谢希成,蒋忱迅,罗钧元,任川渝
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/3/17