一种基于深度学习对托盘进行准确识别的方法及系统与流程

本发明涉及图像识别，具体涉及一种基于深度学习对托盘进行准确识别的方法及系统。

背景技术：

1、对托盘的检测是仓储机器人进行货物搬运的关键步骤，针对当前检测方法光照鲁棒性不强、受托盘与传感器之间相对位姿的约束等问题，人们提出一种基于点云平面轮廓匹配的检测方法。该方法使用tof(time-of-flight)相机采集点云，再将点云进行预处理后，使用以法线为约束的区域生长算法进行平面分割，并沿其主法线方向投影生成栅格图，解决受相对位姿约束的问题，最后在对栅格图进行轮廓提取后，利用融合hu不变矩和尺度比例特征的轮廓特征进行目标与模板的匹配，实现对托盘的检测。

2、但是由于tof相机输出的是深度点云数据，构建出的图像是灰色和黑色组合的图像，因此单纯使用深度相机容易出现误判情况，比如托盘边上站了一个人有可能会把人的腿和托盘识别在一起，从而导致计算出错误的托盘位姿，也有可能将不是托盘的物体识别成托盘。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种基于深度学习对托盘进行准确识别的方法及系统，用于解决采用基于点云平面轮廓匹配的检测方法对托盘进行识别容易出现误判的技术问题，从而达到提高对托盘进行识别时的准确性的目的。

2、为解决上述问题，本发明所采用的技术方案如下：

3、一种基于深度学习对托盘进行准确识别的方法，包括以下步骤：

4、利用图像采集装置对托盘进行采集，得到多张托盘的深度图像和彩色图像，并将所述深度图像和所述彩色图像进行对齐；

5、对所述彩色图像中托盘的位置进行标注后，将标注后的彩色图像作为深度学习训练数据集，并输入到神经网络；

6、所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标；

7、根据所述托盘的坐标得到所述托盘在所述深度图像中的位置，并在所述深度图像中托盘的位置，输入托盘外形尺寸构建出标准托盘点云集；

8、将所述图像采集装置当前采集到的实际托盘点云集和所述标准托盘点云集进行icp点云匹配，获取目标托盘相对于虚拟托盘的位置和角度，从而得到所述目标托盘相对于所述图像采集装置的位姿；

9、其中，所述实际托盘点云集包括所需识别的目标托盘，所述标准托盘点云集包括根据托盘的位置和托盘外形尺寸构建的虚拟托盘。

10、作为本发明优选的实施方式，在所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标时，包括：

11、通过input层将输入的彩色图像对齐成640*640大小的rgb图片后，输入到backbone层；

12、所述backbone层对所述rgb图片进行特征提取，输出三层不同size大小的特征图至head层；

13、所述head层对所述三层不同size大小的特征图再次进行特征提取和检测后，得到所述目标托盘的坐标；

14、其中，所述神经网络包括input层、backbone层和head层。

15、作为本发明优选的实施方式，在input层将输入的彩色图像进行对齐时，包括：

16、将输入的深度学习训练数据集进行自适应尺寸处理，调整大小为1280*1280的rgb图片后，利用16层的卷积模块降低所述深度学习训练数据集的大小为640*640，并经过归一化处理和对齐后，通过激活函数激活后送入到所述backbone层。

17、作为本发明优选的实施方式，在所述backbone层对所述rgb图片进行特征提取时，包括：

18、bconv层接收到所述rgb图片后，通过卷积层进行特征提取，利用bn层进行加速收敛，并采用激活函数进行激活后，输入到交替的e-elan层和mpconv层中，通过所述交替的e-elan层和mpconv层输出三层不同size大小的特征图；

19、其中，所述backbone层包括bconv层、e-elan层以及mpconv层，所述bconv层由卷积层、bn层以及激活函数组成。

20、作为本发明优选的实施方式，在所述head层进行特征提取和检测时，包括：

21、所述head层通过sppcpc层、若干bconv层、若干mpconv层以及若干catconv层对所述backbone层输出的三层不同size大小的特征图再次进行特征提取，再次输出三层不同size大小的特征图，分别经过三个repvgg block层和三个conv层进行检测后，得到所述目标托盘的坐标。

22、作为本发明优选的实施方式，在获取目标托盘相对于虚拟托盘的位置时，包括：

23、将所述标准托盘点云集和所述实际托盘点云集按一定的约束条件进行约束，具体如公式1和公式2所示：

24、

25、

26、式中，为标准托盘点云集的单个点，为标准托盘点云集，为的质心，为实际托盘点云集的单个点，为实际托盘点云集，为的质心。

27、作为本发明优选的实施方式，在获取目标托盘相对于虚拟托盘的位置时，还包括：

28、根据所述约束条件，建立第一损失函数方程，具体如公式3所示：

29、

30、式中，r为旋转矩阵，t为平移矩阵；

31、令n为点云总数|ps|，对所述第一损失函数方程进行求导，令导数为0，获得坐标方程，具体如公式4所示：

32、

33、根据所述坐标方程可获得最优的t，所述最优的t即所述目标托盘相对于所述虚拟托盘的坐标(x,y,z)。

34、作为本发明优选的实施方式，在获取目标托盘相对于虚拟托盘的角度时，包括：

35、在不考虑平移的情况下，建立第二损失函数方程，如公式5所示：

36、

37、式中，r为旋转矩阵，为标准托盘点云集的质心，为实际托盘点云集的质心；

38、通过关系式6和关系式7对所述第二损失函数方程中的进行简化，得到简化关系式，具体如公式8所示：

39、rtr＝i          (6)；

40、

41、

42、式中，上标t为矩阵的转置矩阵，i为rt本身；

43、由于所述托盘的坐标(x,y,z)是确定的，与r无关，通过求取的最大值，最小化所述第二损失函数方程，具体如公式9所示：

44、

45、作为本发明优选的实施方式，在获取目标托盘相对于虚拟托盘的角度时，还包括：

46、根据关系式10对所述公式9进行转化，如公式11所示：

47、

48、r*＝argmaxrtrace(pttrps)     (11)；

49、利用trace的性质，对所述公式11中的trace(pttrps)进行转换，具体如公式12所示：

50、

51、式中，v为psptt的正交矩阵，u为pttps的正交矩阵，r为对角矩阵，vtru为pttrps的正交矩阵；

52、利用矩阵关系式13，对所述公式12进行转换，矩阵关系式如公式13所示，转换过程如公式14所示：

53、

54、trace(∑vtru)＝trace(∑m)

55、＝σ1m11+σ2m22+σ1m33    (14):

56、式中，m为特征向量矩阵；

57、令m为单位阵，使trace(∑m)最大，得到所述目标托盘相对于所述虚拟托盘的角度，具体如公式15、公式16和公式17所示：

58、vtru＝i   (15)；

59、r＝vut    (16)；

60、r*＝vut    (17)。

61、式中，r*为目标托盘相对于虚拟托盘的角度。

62、一种基于深度学习对托盘进行准确识别的系统，包括：

63、训练数据集构建单元：用于利用图像采集装置对托盘进行采集，得到多张托盘的深度图像和彩色图像，并将所述深度图像和所述彩色图像进行对齐；对所述彩色图像中托盘的位置进行标注后，将标注后的彩色图像作为深度学习训练数据集，并输入到神经网络；

64、标准托盘点云集构建单元：用于所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标；根据所述托盘的坐标得到所述托盘在所述深度图像中的位置，并在所述深度图像中托盘的位置，输入托盘外形尺寸构建出标准托盘点云集；

65、托盘识别单元：用于将所述图像采集装置当前采集到的实际托盘点云集和所述标准托盘点云集进行icp点云匹配，获取目标托盘相对于虚拟托盘的位置和角度，从而得到所述目标托盘相对于所述图像采集装置的位姿；

66、其中，所述实际托盘点云集包括所需识别的目标托盘，所述标准托盘点云集包括根据托盘的位置和托盘外形尺寸构建的虚拟托盘。

67、相比现有技术，本发明的有益效果在于：

68、(1)本发明通过利用神经网络进行深度学习的方式，排除掉纯用深度图造成的托盘误识别的问题；

69、(2)本发明在识别定位托盘的过程中，先用彩色图像通过深度学习的方式识别出托盘在彩色图像中的坐标，从而排除由于人干扰或者其他物体造成的误识别，已知托盘在彩色图的位置后即可大概知道托盘在深度图像中的位置，从而提高托盘识别的准确性。

70、下面结合附图和具体实施方式对本发明作进一步详细说明。