一种基于通道剪枝的单目三维目标检测方法及装置与流程

本发明属于计算机视觉领域，尤其涉及一种基于通道剪枝的单目三维目标检测方法及装置。

背景技术：

1、当今，随着工业制造、物流等领域应用的不断发展，三维目标检测变得越来越重要。三维点云技术作为一种三维数据表示方式已经在很多领域实现了有效的应用，如自动驾驶、机器人视觉导航和机场安全检查等行业。

2、而相较于传统的图像目标检测方法，三维目标检测面临着许多挑战和问题。首先是数据量和计算复杂度的增加，使其对计算和存储资源需求更高。其次，由于数据维度的长度变化，导致训练时间过长和消耗过大。此外，为了保证三维目标检测的准确度，需要使用到复杂的卷积神经网络模型，其参数量过大导致推理时间过长，不利于实际应用。 针对以上问题，学术界和工业界提出了一系列解决方案，其中通道剪枝方法被广泛应用。通道剪枝通过将模型中不必要或冗余的卷积特征通道进行删除，可以大量降低模型的训练时间及精简模型的大小，同时还能保持模型的准确性。因此，如何在三维目标检测领域实现基于通道剪枝的单目三维目标检测方法及系统，成为当前研究热点之一。

3、因此，亟需一种既可以大幅减小模型参数量，又能够在不降低检测精度的同时提升推理速度的技术，为解决上述难题提供了一种可行的解决思路。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于通道剪枝的单目三维目标检测方法及装置。其主要思想是通过对卷积网络中的通道数进行裁剪来达到降低模型参数量和提高推理速度的目的，同时保持目标检测精度不变。

2、本发明是通过以下技术方案来实现的：

3、本发明的第一方面：一种基于通道剪枝的单目三维目标检测方法，该方法包括以下步骤：

4、（1）将三维雷达点云数据进行预处理，编码至bev图作为数据输入；

5、（2）在卷积神经网络模型中对输入数据进行特征提取并预测；

6、（3）采用通道剪枝方案，在模型训练完成后，根据每个通道的重要性进行排列；

7、（4）对剪枝后的模型进行微调训练，根据剪枝量大小进行微调量；即根据特征通道的重要程度进行通道排序，然后按照重要性从高到低依次删除不必要的通道；

8、（5）从模型压缩和目标检测结果进行分析模型，得到单目三维目标检测的最终模型。

9、进一步地，所述步骤（1）中输入数据需要先进行数据预处理，具体操作为提取三维雷达点云数据中的高度、深度和密度，编码进bev图中，以bev图作为训练数据输入。

10、具体地，所述网络模型为resnet18、resnet34、resnet50和resnet101中的任意一种网络模型；所述resnet50为能够使用的最佳网络模型；所述resnet50模型包含预处理网络、主干网络和检测头三个部分，该模型被用于完成基于通道剪枝的单目三维目标检测任务。其具体实施过程如下：

11、进一步地，所述完成基于通道剪枝的单目三维目标检测任务，具体为：

12、首先进行预处理网络，即将输入图像缩放至指定大小，并在rgb通道上进行减均值除方差的归一化处理，获得规范化后的图片数据；

13、其次进行主干网络，其主干网络由4个残差块residual block组成，每个残差块包括三个卷积层和一个跳跃连接skip connection；其中第一个残差块采用步幅为1，后面三个残差块采用步幅为2；经过主干网络后，得到特征图f；

14、最后进行检测头，即将特征图f输入到检测头中，对目标进行检测；检测头由若干个卷积层和全连接层组成，其中最后一个卷积层输出通道数为n，其中n表示目标类别数；通过检测头得到热力图、目标坐标和方向角yaw。

15、具体地，所述热力图的回归损失采用focal loss来计算，方向角yaw的回归损失采用l1 loss计算，目标坐标的回归损失采用balanced l1 loss计算。

16、具体地，所述focal loss的数学表达式为：

17、；

18、其中，为预测概率大小；为可调节因子；为预测值；为类别。

19、进一步地，所述l1 loss数学表达式为：

20、；

21、其中，为输入值；为目标值；为估计值。

22、进一步地，所述balanced l1 los数学表达式为：

23、；

24、其中，表示分类损失函数，表示检测框回归损失函数；在分类损失函数中，p表示预测值，u表示真实值；表示类别u的位置回归结果，v是位置回归目标，用于调整多任务损失权重。

25、进一步地，所述步骤（3）中重要性由batchnorm2d层中的参数决定，根据绝对值大小排序，并由自定的剪枝百分比决定通道被剪枝或被保留。

26、本发明的第二方面：一种基于通道剪枝的单目三维目标检测装置，包括以下模块：

27、预处理模块：将三维雷达点云数据进行预处理，编码至bev图作为数据输入；

28、提取预测模块：在卷积神经网络模型中对输入数据进行特征提取并预测；

29、剪枝排列模块：采用通道剪枝方案，在模型训练完成后，根据每个通道的重要性进行排列；

30、微调模块：对剪枝后的模型进行微调训练，根据剪枝量大小进行微调量；即根据特征通道的重要程度进行通道排序，然后按照重要性从高到低依次删除不必要的通道。

31、分析模块：从模型压缩和目标检测效果两个方面分析模型，得到单目三维目标检测的最终模型。

32、根据本发明的第三方面，提供一种电子设备，包括：

33、一个或多个处理器；

34、存储器，用于存储一个或多个程序；

35、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于通道剪枝的单目三维目标检测方法。

36、根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述的基于通道剪枝的单目三维目标检测方法的步骤。

37、本发明的有益效果如下：

38、本发明的方法是通过预处理将三维雷达点云数据编码到bev图中作为输入，利用卷积神经网络模型进行特征提取及目标检测，并采用通道剪枝方案大幅减少模型参数和计算量，从而实现模型的精简、推理速度的提高及检测性能的优化。此外，本发明所提出的方法还保持了原有三维目标检测模型的准确性和稳定性，并适用于单目三维目标检测任务。该发明在自动驾驶、智能机器人、视频监控等领域具有广泛应用前景。

39、且由上述可知，本申请从训练数据集的输入短视频多模态特征，以标签数据为目标对短视频重复判别分类器进行训练；通过设计视觉-语言多模态网络和短视频重复分类器，提高短视频判别的准确率。

40、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于通道剪枝的单目三维目标检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述步骤（1）中输入数据需要先进行数据预处理，具体操作为提取三维雷达点云数据中的高度、深度和密度，编码进bev图中，以bev图作为训练数据输入。

3.根据权利要求1所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述网络模型为resnet18、resnet34、resnet50和resnet101中的任意一种网络模型；所述resnet50为能够使用的最佳网络模型；所述resnet50模型包含预处理网络、主干网络和检测头三个部分，该模型被用于完成基于通道剪枝的单目三维目标检测任务。

4.根据权利要求3所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述完成基于通道剪枝的单目三维目标检测任务，具体为：

5.根据权利要求4所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述热力图的回归损失采用focal loss来计算，方向角yaw的回归损失采用l1 loss计算，目标坐标的回归损失采用balanced l1 loss计算。

6.根据权利要求5所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述focal loss的数学表达式为：

7.根据权利要求5所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述l1loss数学表达式为：

8.根据权利要求5所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述balanced l1 los数学表达式为：

9.根据权利要求1所述的基于通道剪枝的单目三维目标检测方法，其特征在于，所述步骤（3）中重要性由batchnorm2d层中的参数决定，根据绝对值大小排序，并由自定的剪枝百分比决定通道被剪枝或被保留。

10.一种基于通道剪枝的单目三维目标检测装置，其特征在于，包括以下模块：

技术总结
本发明公开了一种基于通道剪枝的单目三维目标检测方法及装置，该方法是通过预处理将三维雷达点云数据编码到BEV图中作为输入，利用卷积神经网络模型进行特征提取及目标检测，并采用通道剪枝方案大幅减少模型参数和计算量，从而实现模型的精简、推理速度的提高及检测性能的优化。此外，本发明所提出的方法还保持了原有三维目标检测模型的准确性和稳定性，并适用于单目三维目标检测任务。该发明在自动驾驶、智能机器人、视频监控等领域具有广泛应用前景。

技术研发人员：曾令仿,柯洺达,朱健,程稳,盛明凯
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/1/15