一种货架位置检测方法、装置、设备及存储介质与流程

本发明涉及点云数据处理技术，尤其涉及一种货架位置检测方法、装置、设备及存储介质。

背景技术：

1、无人搬运设备为装备有电磁或光学等自动导引装置、能够沿预定路径行驶的运输设备。

2、在无人搬运车与货架对接过程中，需要感知货架位置。传统的货架位置检测方法为：使用深度相机对货架进行深度图像采集，对深度图像进行灰度值转换得到灰度图，对灰度图进行处理，采用基于增强sobel算子的边缘检测算法检测出左右立柱区域，对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，从获得的边缘信息中，通过空间几何关系计算出货架中心的空间位置和姿态信息。

3、随着场景的复杂程度上升，传统的货架位置检测方法的准确率会有明显下降。

技术实现思路

1、本发明提供一种货架位置检测方法、装置、设备及存储介质，能够处理更复杂的场景，提高货架位置检测准确度。

2、第一方面，本发明提供了一种货架位置检测方法，包括：

3、获取深度相机拍摄的三维点云图像；

4、基于深度学习的目标检测算法从所述三维点云图像中检测出货架所在的区域；

5、基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿；

6、基于所述货架腿内的点云坐标，计算所述货架的中心位置及货架的姿态。

7、可选的，基于深度学习的目标检测算法从所述三维点云图像中检测出货架所在的区域，包括：

8、将三维点云图像中的所有点分割为多个尺寸相同的三维体素；

9、对各所述三维体素内的点进行特征提取，得到由各所述三维体素的特征向量构成的特征矩阵；

10、基于所述特征矩阵进行分类检测和位置回归，得到货架所在区域的三维边界框。

11、可选的，对各所述三维体素内的点进行特征提取，得到由各所述三维体素的特征向量构成的特征矩阵，包括：

12、针对每一所述三维体素，计算所述三维体素内所有点的坐标均值，作为所述三维体素的质心坐标；

13、计算所述三维体素内每一点的坐标与所述三维体素的质心坐标的差值，得到所述点与所述质心的相对坐标；

14、将所述点坐标的向量表示与所述相对坐标的向量表示拼接，得到每一点在所述三维体素内的位置向量；

15、将所述三维体素内的点的位置向量输入全连接网络中，所述全连接网络对所述三维体素内的点的位置向量进行映射，得到映射特征；

16、将所述映射特征输入残差卷积网络中，所述残差卷积网络对所述映射特征进行特征挖掘，得到所述三维体素的特征向量；

17、将各所述三维体素的特征向量组合为特征矩阵。

18、可选的，基于所述特征矩阵进行分类检测和位置回归，得到货架所在区域的三维边界框，包括：

19、将所述特征矩阵输入区域生成网络，所述区域生成网络对所述特征矩阵进行处理，对所述三维点云图像中的目标进行分类检测和位置回归，得到货架所在区域的三维边界框。

20、可选的，基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿，包括：

21、对所述货架所在的区域内的所有点进行局部特征提取，得到所述货架所在的区域的局部特征；

22、对所述局部特征在各维度上进行池化操作，得到所述货架所在的区域的全局特征；

23、将所述局部特征和所述全局特征在维度上进行拼接，得到融合特征；

24、基于所述融合特征从所述货架所在的区域中分割出货架腿。

25、可选的，在基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿之前，还包括：

26、对所述货架所在的区域内的目标进行点云补全。

27、可选的，对所述货架所在的区域内的目标进行点云补全，包括：

28、将所述货架所在的区域内的无规则的点云数据转换为规范化的三维网格数据；

29、将所述三维网格数据输入三维卷积网络中进行处理，卷积处理后的三维网格数据；

30、将卷积处理后的三维网格数据逆转换为点云数据；

31、对逆转换后的点云数据进行采样，得到粗糙点云数据；

32、对所述粗糙点云数据中的点进行偏移，生成新的点对所述货架所在的区域内的目标进行点云补全。

33、第二方面，本发明还提供了一种货架位置检测装置，包括：

34、点云图像获取模块，用于获取深度相机拍摄的三维点云图像；

35、货架区域检测模块，用于基于深度学习的目标检测算法从所述三维点云图像中检测出货架所在的区域；

36、货架腿分割模块，用于基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿；

37、位姿计算模块，用于基于所述货架腿内的点云坐标，计算所述货架的中心位置及货架的姿态。

38、第三方面，本发明还提供了一种计算机设备，包括：

39、一个或多个处理器；

40、存储装置，用于存储一个或多个程序；

41、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的货架位置检测方法。

42、第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的货架位置检测方法。

43、本发明提供的货架位置检测方法，包括：获取深度相机拍摄的三维点云图像，基于深度学习的目标检测算法从三维点云图像中检测出货架所在的区域，基于深度学习的目标分割算法从货架所在的区域中分割出货架腿，基于货架腿内的点云坐标，计算货架的中心位置及货架的姿态，本申请基于深度学习算法对深度相机拍摄的三维点云图像进行货架检测，检测出货架所在的区域，并基于深度学习算法从货架所在的区域中分割出货架腿，相对于传统算法，本发明采用机器学习算法能够处理更复杂的场景，提高货架位置检测准确度。

44、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种货架位置检测方法，其特征在于，包括：

2.根据权利要求1所述的货架位置检测方法，其特征在于，基于深度学习的目标检测算法从所述三维点云图像中检测出货架所在的区域，包括：

3.根据权利要求2所述的货架位置检测方法，其特征在于，对各所述三维体素内的点进行特征提取，得到由各所述三维体素的特征向量构成的特征矩阵，包括：

4.根据权利要求2所述的货架位置检测方法，其特征在于，基于所述特征矩阵进行分类检测和位置回归，得到货架所在区域的三维边界框，包括：

5.根据权利要求1-4任一所述的货架位置检测方法，其特征在于，基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿，包括：

6.根据权利要求1-4任一所述的货架位置检测方法，其特征在于，在基于深度学习的目标分割算法从所述货架所在的区域中分割出货架腿之前，还包括：

7.根据权利要求6所述的货架位置检测方法，其特征在于，对所述货架所在的区域内的目标进行点云补全，包括：

8.一种货架位置检测装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的货架位置检测方法。

技术总结
本发明公开了一种货架位置检测方法、装置、设备及存储介质，获取深度相机拍摄的三维点云图像，基于深度学习的目标检测算法从三维点云图像中检测出货架所在的区域，基于深度学习的目标分割算法从货架所在的区域中分割出货架腿，基于货架腿内的点云坐标，计算货架的中心位置及货架的姿态，本申请基于深度学习算法对深度相机拍摄的三维点云图像进行货架检测，检测出货架所在的区域，并基于深度学习算法从货架所在的区域中分割出货架腿，相对于传统算法，本发明采用机器学习算法能够处理更复杂的场景，提高货架位置检测准确度。

技术研发人员：李家兴,骆增辉,赖志林,杨晓东
受保护的技术使用者：广州赛特智能科技有限公司
技术研发日：
技术公布日：2024/1/15