单目三维目标检测方法、装置、设备及存储介质与流程

本发明涉及起重机货物识别，尤其涉及一种单目三维目标检测方法、装置、设备及存储介质。

背景技术：

1、物流企业的运营效率和经济效益密切相关，而在门式起重机的货物装卸过程中，高效准确地识别货物位置对提高物流系统的运行效率和经济效益具有重要意义。特别是在物流需求日益复杂、订单量不断增加的情况下，传统的人工识别方法已经难以满足物流行业的要求，比如需要大量的人力资源和时间，容易受到环境因素干扰，而且准确率也难以保证。目前，通常依赖于多目相机系统或激光雷达等传感器来实现三维目标检测，这些设备的成本较高，限制了其在起重机货物识别中的普及和应用。

2、目前，国内外学者在基于深度图像的单目3d目标检测研究中提出的模型，基本上都是采用预训练好的深度估计模型，并且在特定数据集上进行训练，如kitti数据集和nyu数据集等，但由于起重机作业环境复杂，货物种类繁多，且形状和大小差异较大，目前的检测模型泛化能力和精度不足，在遇到小物品、重叠物品、遮挡等情况时，往往无法准确识别。

技术实现思路

1、本发明的主要目的在于提供一种单目三维目标检测方法、装置、设备及存储介质，旨在解决现有技术起重机货物识别方法成本高、泛化能力和精度不足的技术问题。

2、为实现上述目的，本发明提供了一种单目三维目标检测方法，所述方法包括以下步骤：

3、基于编码器-解码器结构构建初始单目三维目标检测模型，其中，所述初始单目三维目标检测模型包括编码器与解码器，所述编码器包括特征提取网络，所述解码器包括实例分割网络、深度估计网络以及目标检测网络；

4、获取目标数据集，并将所述目标数据集划分为训练集和测试集；

5、通过所述训练集对所述初始单目三维目标检测模型进行训练，得到训练后的单目三维目标检测模型；

6、通过所述测试集对所述训练后的单目三维目标检测模型进行测试，得到目标单目三维目标检测模型；

7、通过所述目标单目三维目标检测模型对起重机货物进行检测，得到货物的类别信息以及位置信息。

8、可选地，所述获取目标数据集，并将所述目标数据集划分为训练集和测试集，包括：

9、获取初始数据集，并将所述初始数据集中样本的分辨率调整为预设值，得到参考数据集；

10、对所述参考数据集进行数据增强，得到目标数据集，其中，所述数据增强包括随机剪裁、随机水平翻转、随机颜色增强以及归一化中的至少一项；

11、将所述目标数据集根据预设比例划分为训练集与测试集。

12、可选地，所述通过所述训练集对所述初始单目三维目标检测模型进行训练，得到训练后的单目三维目标检测模型，包括：将

13、设置批尺寸，根据所述批尺寸将所述训练集中的样本分为若干批次，其中，所述批尺寸为单次用以训练的样本数量；

14、分别将各批次的样本输入至编码器的特征提取网络中进行特征提取，得到初始特征图，其中，所述特征提取网络包括第一卷积层、最大池化层、restnet50网络，所述restnet50网络包括多个残差块，每个残差块包括多个卷积层和批量归一化层；

15、将所述初始特征图输入至解码器的实例分割网络进行物体检测和分割，得到各批次的样本的掩码，其中，所述实例分割网络包括rpn层与mask head层；

16、将所述各批次的样本的掩码与所述各批次的样本输入至解码器的深度估计网络进行预测，得到加强掩码区域的特征图和目标深度图，其中，所述深度估计网络包括下采样层、膨胀卷积层、批量归一化层、relu激活层和输出卷积层；

17、将所述加强掩码区域的特征图和所述目标深度图输入目标检测网络进行检测，得到检测结果，其中，所述目标检测网络包括动态滤波器生成网络、反卷积层和卷积层；

18、根据所述检测结果计算损失函数，并通过所述损失函数更新损失初始单目三维目标检测模型的参数直至满足收敛条件，得到训练后的单目三维目标检测模型，其中，所述收敛条件为测试集测试所述训练后的单目三维目标检测模型的性能指标达到预设阈值。

19、可选地，所述分别将各批次的样本输入至编码器的特征提取网络中进行特征提取，得到初始特征图，包括：

20、通过所述第一卷积层对所述各批次的样本进行卷积，得到卷积特征图；

21、通过所述restnet50网络对所述卷积特征图进行高层特征提取，得到初始特征图。

22、可选地，所述将所述初始特征图输入至解码器的实例分割网络进行物体检测和分割，得到各批次的样本的掩码，包括：

23、将所述初始特征图输入至所述rpn层并基于所述初始特征图生成候选区域，得到预设维度的候选框；

24、对每个候选区域进行特征提取和对齐，得到预设尺寸的特征图；

25、将所述预设尺寸的特征图输入至mask head层进行实例分割，得到各批次的样本的掩码。

26、可选地，所述将所述各批次的样本的掩码与所述各批次的样本输入至解码器的深度估计网络进行预测，得到加强掩码区域的特征图和目标深度图，包括：

27、将所述各批次的样本的掩码进行形式转换，得到二进制掩码矩阵；

28、通过所述膨胀卷积层对所述二进制掩码矩阵进行膨胀操作，得到膨胀后的掩码矩阵；

29、将所述膨胀后的掩码矩阵与所述预设尺寸的特征图进行逐元素相乘，得到加强掩码区域的特征图；

30、通过所述下采样层对所述加强掩码区域的特征图进行下采样，得到多个不同尺度的特征图；

31、根据所述多个不同尺度的特征图得到目标深度图。

32、可选地，所述将所述加强掩码区域的特征图和所述目标深度图输入目标检测网络进行检测，得到检测结果，包括：

33、将所述加强掩码区域的特征图和所述目标深度图输入动态局部滤波器生成网络，得到动态局部滤波器；

34、通过所述动态局部滤波器进行特征增强后，通过所述反卷积层和卷积层分别获得二维信息和三维信息，其中，所述二维信息包括二维检测框的中心位置、宽度以及高度，所述三维信息包括三维检测框的中心位置、宽度、高度、长度以及旋转角度；

35、将所述二维信息和三维信息作为检测结果。

36、此外，为实现上述目的，本发明还提出一种单目三维目标检测装置，所述单目三维目标检测装置包括：

37、此外，为实现上述目的，本发明还提出一种单目三维目标检测设备，所述单目三维目标检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的单目三维目标检测程序，所述单目三维目标检测程序配置为实现如上文所述的单目三维目标检测方法的步骤。

38、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有单目三维目标检测程序，所述单目三维目标检测程序被处理器执行时实现如上文所述的单目三维目标检测方法的步骤。

39、本发明基于编码器-解码器结构构建初始单目三维目标检测模型；获取目标数据集，并将目标数据集划分为训练集和测试集；通过训练集对初始单目三维目标检测模型进行训练，得到训练后的单目三维目标检测模型；通过测试集对训练后的单目三维目标检测模型进行测试，得到目标单目三维目标检测模型；通过目标单目三维目标检测模型对起重机货物进行检测，得到货物的类别信息以及位置信息。通过上述方式，通过基于编码器-解码器结构构建并进行训练测试得到的目标单目三维目标检测模型对起重机货物进行检测得到货物的类别信息以及位置信息，解决起重机货物识别方法成本高、泛化能力和精度不足的问题，提高货物检测以及跟踪的精度和鲁棒性。