一种基于目标检测的单件分离包裹快速定位方法与流程

本申请涉及物流，尤其是一种基于目标检测的单件分离包裹快速定位方法。

背景技术：

1、随着物流产业的高速发展，包裹快递的数量和种类越来越丰富，这给包裹分拣、配送等环节带来了很大的挑战。传统的人工分拣方式效率低下、成本高昂，无法满足现代物流市场的需求。因此，自动化分拣和配送系统逐渐成为行业发展的趋势。现有的自动化分拣系统基本采用传统二维摄像机实现对于运动物体的跟踪和定位。然而，这种方法容易出现识别错误、误判等问题，降低了自动化分拣系统的准确性和可靠性，另外目前方法的识别速度也不够理想，这也直接影响了分拣的效率。

技术实现思路

1、本申请针对上述问题及技术需求，提出了一种基于目标检测的单件分离包裹快速定位方法，本申请的技术方案如下：

2、一种基于目标检测的单件分离包裹快速定位方法，该单件分离包裹快速定位方法包括：

3、通过位于单件分离区域上方的rgbd相机采集单件分离区域的待检测rgb图像和待检测深度数据，单件分离区域包括分离皮带以及设置在分离皮带上的若干件包裹；

4、利用基于yolo的轻量级目标检测模型对待检测rgb图像中的包裹进行目标检测，提取得到待检测rgb图像中各件包裹的目标检测框；

5、根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值，并根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标；

6、根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息。

7、其进一步的技术方案为，根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标包括：

8、利用rgbd相机的相机参数转换得到目标检测框的四个顶点在相机坐标系下的二维坐标；

9、将目标检测框的参考深度值作为目标检测框的四个顶点的第三维坐标，结合每个顶点的二维坐标得到对应顶点在相机坐标系下的三维坐标；

10、根据目标检测框的每个顶点的三维坐标得到顶点在分离皮带上的投影坐标。

11、其进一步的技术方案为，根据目标检测框的每个顶点的三维坐标得到顶点在分离皮带上的投影坐标包括：

12、基于分离皮带的皮带平面方程参数，将目标检测框的每个顶点的三维坐标投影到分离皮带上得到对应的投影坐标。

13、其进一步的技术方案为，单件分离包裹快速定位方法包括：

14、通过rgbd相机采集未设置任何包裹时的单件分离区域的标定rgb图像和标定深度数据；

15、基于标定rgb图像确定单件分离区域中的分离皮带所在区域作为感兴趣区域；

16、根据rgbd相机的内参矩阵将感兴趣区域内的标定深度数据转换为皮带三维点云数据；

17、基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带平面方程参数。

18、其进一步的技术方案为，根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值包括：

19、将每个目标检测框内的所有待检测深度数据的中位数作为目标检测框的参考深度值。

20、其进一步的技术方案为，根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息包括：

21、将每个目标检测框的四个顶点的投影坐标中在水平面上的二维坐标进行最大外接矩形拟合，得到目标检测框对应的包裹的落地区域的最大外接矩形，基于包裹的落地区域的最大外接矩形确定包裹的位置信息。

22、其进一步的技术方案为，轻量级目标检测模型的骨干网络采用cspdarknet53进行特征提取，目标检测头包括三个不同尺度的输出层以检测不同大小的候选框，目标检测头对每个候选框给出预测参数，预测参数包括候选框的中心坐标、候选框的宽高以及置信度，其中置信度表示包含包裹的置信度和背景置信度的最大值。

23、其进一步的技术方案为，轻量级目标检测模型使用hard swish激活函数也使用深度可分离卷积。

24、其进一步的技术方案为，单件分离包裹快速定位方法包括：

25、搭建基于yolo的轻量级目标检测模型的网络结构；

26、利用多个gpu并行使用coco数据集基于搭建的网络结构进行预训练得到模型参数；

27、获取包裹的样本rgb图像并进行标注；

28、利用标注好的样本rgb图像基于预训练得到模型参数进行训练，并使用greedynms算法进行非极大值抑制、使用反向传播算法更新模型参数。

29、其进一步的技术方案为，在获取样本rgb图像时，分别获取不同尺寸、包装材质类型、包装颜色的包裹的样本rgb图像。

30、本申请的有益技术效果是：

31、本申请公开了一种基于目标检测的单件分离包裹快速定位方法，该方法利用rgbd相机实时捕捉包裹的rgb图像和深度数据，利用基于yolo的轻量级目标检测模型进行目标检测，轻量级目标检测模型可以适用于单件包裹分离这种资源有限的工业应用场景，且可以提高检测效率和速率。然后结合深度数据对目标检测框的四个顶点进行投影即可实现对包裹的快速定位，该方法能够实时、快速地定位分离区域包裹的位置信息，对深度数据质量的要求较低、计算量小、运行效率高，可以提升物流分拣和处理的效率，满足实际应用的需求。

32、该方法基于目标检测算法能够适用于各种类型和形状的包裹，并能在复杂环境中展现出色的检测效果，且在定位包裹的落地区域时降低包裹并排情况的干扰，有效避免误判和漏检。且使用到的轻量级目标检测模型可以通过引入更多特征和算法以提升检测精度和鲁棒性，从而根据需要进行优化和扩展，展现出良好的可扩展性。

技术特征：

1.一种基于目标检测的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

2.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述根据每个目标检测框的参考深度值获取所述目标检测框的四个顶点在分离皮带上的投影坐标包括：

3.根据权利要求2所述的单件分离包裹快速定位方法，其特征在于，所述根据所述目标检测框的每个顶点的三维坐标得到所述顶点在分离皮带上的投影坐标包括：

4.根据权利要求3所述的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

5.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述根据每个目标检测框内的待检测深度数据确定所述目标检测框的参考深度值包括：

6.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息包括：

7.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述轻量级目标检测模型的骨干网络采用cspdarknet53进行特征提取，目标检测头包括三个不同尺度的输出层以检测不同大小的候选框，目标检测头对每个候选框给出预测参数，所述预测参数包括候选框的中心坐标、候选框的宽高以及置信度，其中置信度表示包含包裹的置信度和背景置信度的最大值。

8.根据权利要求7所述的单件分离包裹快速定位方法，其特征在于，所述轻量级目标检测模型使用hard swish激活函数也使用深度可分离卷积。

9.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

10.根据权利要求9所述的单件分离包裹快速定位方法，其特征在于，在获取样本rgb图像时，分别获取不同尺寸、包装材质类型、包装颜色的包裹的样本rgb图像。

技术总结
本申请公开了一种基于目标检测的单件分离包裹快速定位方法，涉及物流技术领域，该方法通过位于单件分离区域上方的RGBD相机采集单件分离区域的待检测RGB图像和待检测深度数据，然后利用基于YOLO的轻量级目标检测模型进行目标检测提取得到各件包裹的目标检测框；然后根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值，并根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标，从而可以确定对应包裹的位置信息。该方法能够实时、快速地定位分离区域包裹的位置信息，对深度数据质量的要求较低、计算量小、运行效率高，可以提升物流分拣和处理的效率，满足实际应用的需求。

技术研发人员：余跃,杜萍
受保护的技术使用者：中科微至科技股份有限公司
技术研发日：
技术公布日：2024/3/27