一种物体姿态检测方法、装置、设备及介质与流程

本发明涉及计算机视觉，特别是涉及一种物体姿态检测方法、装置、设备及介质。

背景技术：

1、随着科技的发展和生活水平的提高，快递在人们的生活中越来越普遍。传统的快递分拣主要依靠人力进行，不但容易出现分拣错误，而且效率低下。因此，目前出现了利用机械臂和视觉识别技术实现的快递自动分拣的方式，具体为利用视觉识别技术判定物体的姿态，再由机械臂依据物体姿态对物体进行抓取和移动，从而实现自动分拣。

2、当前，主要利用双目视觉定位技术实现物体姿态的计算。双目视觉定位技术需要对两个相机拍摄的图像进行匹配，找到对应的像素点，然后通过立体视觉算法计算出物体的深度信息。然而，这个过程需要进行大量的像素点匹配和计算，因此会消耗大量的计算资源和时间，不利于例如快递分拣场景下的物体姿态的快速识别检测。

3、鉴于上述问题，如何解决当前物体姿态识别过程存在计算量大和时间复杂度高的缺点，是本领域技术人员亟待解决的问题。

技术实现思路

1、本发明的目的是提供一种物体姿态检测方法、装置、设备及介质，以解决当前物体姿态识别过程存在计算量大和时间复杂度高的缺点。

2、为解决上述技术问题，本发明提供一种物体姿态检测方法，包括：

3、获取图像采集设备采集的目标物体的像素图像，并获取深度信息采集设备采集的所述目标物体的深度图像；

4、将所述像素图像输入至目标检测网络中，以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分；

5、判断所述目标标签对应的所述得分是否大于第一阈值；

6、若否，则返回至所述获取目标物体的像素图像，并获取深度信息采集设备采集的所述目标物体的深度图像的步骤；

7、若是，则根据所述深度图像和所述目标检测框位置确定目标框中所述目标物体的深度信息；

8、对所述目标物体的所述像素图像和所述深度信息进行降维处理；

9、根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原，以确定所述目标物体的姿态坐标。

10、一方面，所述将所述像素图像输入至目标检测网络中，以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分，包括：

11、对所述像素图像进行等比例缩放；

12、将等比例缩放后的所述像素图像放入三层卷积神经网络中，以得到初始特征图；其中，各层所述卷积神经网络均包含卷积层、数据批量归一化层和硬切线激活函数；

13、根据区域生成网络确定所述初始特征图中的目标推荐区域；

14、将所述初始特征图和所述目标推荐区域输入至区域兴趣对齐网络中，以得到目标特征图；

15、将所述目标特征图输入至头部层中，以得到物体类别信息和目标检测区域信息；

16、将所述物体类别信息依次输入至两层卷积层中，以得到所述物体类别；

17、将所述目标检测区域信息输入至卷积层中，以得到所述目标检测框位置、所述目标标签及所述目标标签对应的所述得分。

18、另一方面，所述对所述目标物体的所述像素图像和所述深度信息进行降维处理，包括：

19、将所述图像采集设备的图像采集中轴线和所述目标物体的重合点确定为中心点；

20、根据所述像素图像中的像素点坐标和所述深度信息中的深度信息值确定所述中心点的空间坐标值；

21、以所述中心点为圆心确定三个同心圆；其中，各所述同心圆在同一平面内；

22、以所述中心点为端点生成六条射线；其中，各所述射线之间的夹角相等，各所述射线与各所述同心圆均存在交点；

23、根据所述像素图像中的像素点坐标分别获取各所述交点在所述目标物体上投影生成的投影点的像素坐标值；

24、根据所述深度信息确定各所述投影点的深度信息值；其中，所述投影点的所述深度信息值，具体为以所述投影点为圆心，且以预设值为半径构成的圆形区域内各点的所述深度信息值的平均值；

25、根据各所述投影点对应的所述像素坐标值和所述深度信息值确定各所述投影点对应的空间坐标值。

26、另一方面，所述根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原，以确定所述目标物体的姿态坐标，包括：

27、根据地平面坐标和所述目标检测框位置的边界点确定所述目标物体的边界点坐标；

28、根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程；

29、根据所述目标物体的所述边界点坐标，以及所述目标物体的所述平面方程或所述曲面方程，对所述目标物体进行三维还原，以生成所述目标物体的三维模型；

30、根据所述目标物体的所述三维模型生成所述目标物体在真实坐标系下的姿态坐标。

31、另一方面，所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程，包括：

32、当根据所述物体类别确定所述目标物体为刚性物体时，根据所述中心点的所述空间坐标值和各所述投影点的所述空间坐标值，判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于第二阈值；

33、若确定同一所述射线对应的相邻的两个所述投影点的夹角小于所述第二阈值，则在两个所述投影点中选取中间点；

34、基于所述中间点确定相邻的两个所述投影点之外的附加点，并根据所述像素图像中的像素点坐标和所述深度信息获取所述附加点的所述空间坐标值；其中，所述附加点不在相邻的两个所述投影点对应的所述射线的投影上；

35、根据所述附加点的所述空间坐标值和相邻的两个所述投影点的所述空间坐标值拟合平面方程；

36、根据所述平面方程适配其余的所述投影点；

37、若确定同一所述射线对应的相邻的两个所述投影点的夹角不小于所述第二阈值，则根据二分法在相邻的两个所述投影点之间选取新的投影点；其中，所述新的投影点与相邻的两个所述投影点对应同一所述射线；

38、根据所述像素图像中的像素点坐标和所述深度信息获取所述新的投影点的所述空间坐标值，并再次判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于所述第二阈值；

39、若确定同一所述射线对应的相邻的两个所述投影点的夹角小于所述第二阈值，则进入所述在两个所述投影点中选取中间点步骤；

40、若确定同一所述射线对应的相邻的两个所述投影点的夹角不小于所述第二阈值，则缩小各所述同心圆的半径，以重新确定各所述投影点对应的所述空间坐标值；

41、返回至所述根据所述中心点的所述空间坐标值和各所述投影点的所述空间坐标值，判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于第二阈值的步骤。

42、另一方面，所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程，包括：

43、当根据所述物体类别确定所述目标物体为柔性物体时，根据所述中心点的所述空间坐标值和各所述投影点的所述空间坐标值拟合曲面方程。

44、另一方面，在所述根据所述附加点的所述空间坐标值和相邻的两个所述投影点的所述空间坐标值拟合平面方程之后，还包括：

45、获取所述平面方程的数量，并判断所述平面方程的数量是否大于3；

46、若是，则获取各所述平面方程之间的相似度；

47、拟合所述相似度大于第三阈值对应的所述平面方程。

48、为解决上述技术问题，本发明还提供一种物体姿态检测装置，包括：

49、第一获取模块，用于获取图像采集设备采集的目标物体的像素图像，并获取深度信息采集设备采集的所述目标物体的深度图像；

50、第二获取模块，用于将所述像素图像输入至目标检测网络中，以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分；

51、判断模块，用于判断所述目标标签对应的所述得分是否大于第一阈值；若否，则触发所述第一获取模块；若是，则触发第一确定模块；

52、所述第一确定模块，用于根据所述深度图像和所述目标检测框位置确定目标框中所述目标物体的深度信息；

53、降维模块，用于对所述目标物体的所述像素图像和所述深度信息进行降维处理；

54、第二确定模块，用于根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原，以确定所述目标物体的姿态坐标。

55、为解决上述技术问题，本发明还提供一种物体姿态检测设备，包括：

56、存储器，用于存储计算机程序；

57、处理器，用于执行所述计算机程序时实现上述的物体姿态检测方法的步骤。

58、为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的物体姿态检测方法的步骤。

59、本发明所提供的一种物体姿态检测方法，通过获取图像采集设备采集的目标物体的像素图像，并获取深度信息采集设备采集的目标物体的深度图像；将像素图像输入至目标检测网络中，以得到目标物体的物体类别、目标检测框位置、目标标签及目标标签对应的得分；判断目标标签对应的得分是否大于第一阈值；若否，则返回至获取目标物体的像素图像，并获取深度信息采集设备采集的目标物体的深度图像的步骤；若是，则根据深度图像和目标检测框位置确定目标框中目标物体的深度信息；对目标物体的像素图像和深度信息进行降维处理；根据目标检测框位置、物体类别以及降维处理后的像素图像和深度信息对目标物体进行三维还原，以确定目标物体的姿态坐标。本发明的有益效果在于，通过图像采集设备采集目标物体的像素图像，并通过深度信息采集设备采集目标物体的深度图像，无需通过立体视觉算法计算出物体的深度信息，减少了计算量。进一步地，对像素图像和深度信息同时进行了降维处理；在后续利用像素图像和深度信息对目标物体进行三维还原和姿态检测时，经过降维处理后的像素图像和深度信息既保留了目标物体的完整特征，又极大地减小了数据处理量。因此，本方案能够有效减少物体姿态识别过程的计算量，降低了物体姿态识别过程的时间复杂度，提高了检测效率。

60、此外，本发明还提供了一种物体姿态检测装置、设备及介质，效果同上。