一种基于TOF相机的货物托盘检测系统和方法与流程

本发明涉及工业机器人技术领域，具体地，涉及一种基于tof相机的货物托盘检测系统和方法。

背景技术：

随着现代物流技术的发展，自动引导车(agv)在智能仓储技术中发挥着越来越重要的作用，而对货物托盘的检测是agv的核心技术之一。仓储环境具有背景复杂、光线条件不稳定、动/静态障碍物较多等特点，精准高效的对货物托盘检测与定位是目前亟待解决的问题。

经过专利检索，目前对货物托盘的检测主要采用视觉检测、激光雷达检测等方法。其中，单目视觉成本虽然不高，但精度不高、受光线影响大；多线激光雷达和双目视觉检测都具有精度高的特点，但是多线激光雷达价格过于昂贵、双面视觉检测受光照影响大；单线激光雷达成本相对较低，但是获取信息量不足，容易产生误检；基于特征标签的视觉检测方法，对于标签的敷设精度要求比较高，环境鲁棒性不好等等。其中，作者胡建军等在专利“一种全向自动叉车及3d立体视觉导航定位方法”中采用双目立体视觉进行托盘定位，易受仓储环境中复杂光照的影响。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于tof相机的货物托盘检测系统和方法，具有精度高、价格低、鲁棒性强等优点。

根据本发明的一个方面，提供一种基于tof相机的货物托盘检测系统，所述系统包括：中央控制器、tof相机，所述中央控制器与所述tof相机之间采用有线或无线方式连接；其中：

所述tof相机用于采集货物托盘的rgbd图像，并将获得的rgbd图像传输给中央处理器；

所述中央控制器接收tof相机传输的rgbd图像，并通过对tof相机采集的rgbd图像进行处理，检测出货物托盘，并获得货物托盘相对于所述tof相机的位姿关系，从而完成对货物托盘的定位。

优选地，所述中央处理器将得到的rgbd图像中每个像素点的深度值转换为0-255的灰度值，从而得到灰度深度图，然后对该灰度深度图进行边缘检测提取轮廓，对轮廓进行直线检测，并以直线角度为约束估计最小包围矩形，将检测出的矩形作为托盘平面候选区域，从而得到若干托盘平面候选区域。

更优选地，所述中央处理器对所得任意托盘平面候选区域进行判定：

若该托盘平面候选区域包含至少2个矩形区域，则以该托盘平面候选区域中矩形区域作为叉孔候选区域，计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标，否则，忽略该托盘平面候选区域，对其他托盘平面候选区域进行判定；若所有托盘平面候选区域经判定后均不是托盘平面，则重新从rgbd图像中检测托盘平面候选区域。

更优选地，所述中央处理器在计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标之后，计算托盘平面候选区域中任意2个叉孔候选区域ri与rj的面积比tij，筛选并保留符合阈值范围的2个叉孔候选区域ri与rj，视为检测到货物托盘。

更优选地，所述中央处理器，对保留的叉孔候选区域ri、rj的中心点连线的中点oij作为货物托盘的表面中心点，通过货物托盘的表面中心点oij的灰度值得到货物托盘表面中心点与tof相机之间的距离值d，从而完成对货物托盘的定位。

根据本发明的另一个方面，提供一种基于tof相机的货物托盘检测方法，所述方法包括如下步骤：

步骤1：tof相机采集货物托盘的rgbd图像，并通过有线或者无线的方法传输给中央处理器；中央处理器将得到的rgbd图像中每个像素点的深度值转换为0-255的灰度值，从而得到灰度深度图；

步骤2：中央处理器对步骤1中所得到的灰度深度图进行边缘检测提取轮廓，对轮廓进行直线检测，并以直线角度为约束估计最小包围矩形，将检测出的矩形作为托盘平面候选区域；

步骤3：对步骤2中所得任意托盘平面候选区域进行判定：

若该托盘平面候选区域包含至少2个矩形区域，则以该托盘平面候选区域中矩形区域作为叉孔候选区域，计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标，转步骤4；

否则，忽略该托盘平面候选区域，对其他托盘平面候选区域进行判定；

若所有托盘平面候选区域经判定后均不是托盘平面，则转步骤1；

步骤4：计算托盘平面候选区域中任意2个叉孔候选区域ri与rj的面积比tij，筛选并保留符合阈值范围的2个叉孔候选区域ri与rj，视为检测到货物托盘，转步骤5；

步骤5：取步骤4中保留的叉孔候选区域ri、rj的中心点连线的中点oij作为货物托盘的表面中心点，通过货物托盘的表面中心点oij的灰度值得到货物托盘表面中心点与tof相机之间的距离值d，从而完成对货物托盘的定位。

优选地，步骤4中，所述的面积比tij符合阈值范围：

t1≤tij≤t2，

其中：t1,t2分别为面积比区间下边界与上边界。

与现有技术相比，本发明具有如下的有益效果：

本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为货物托盘结构示意图；

图2为货物托盘侧视图；

图3为本发明一实施例的系统结构框图；

图4为本发明一实施例的方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1-图3所示，一种基于tof相机的货物托盘检测系统，所述系统包括：中央控制器、tof相机，其中：所述中央控制器与所述tof相机之间采用有线或无线方式连接；

所述tof相机用于采集货物托盘的rgbd图像；并将获得的rgbd图像通过有线或者无线的方法传输给中央处理器；

所述中央控制器接收tof相机传输的rgbd图像，并通过对tof相机采集的rgbd图像进行处理，检测出货物托盘，并获得货物托盘相对于所述tof相机的位姿关系。

在本实施例中，所述中央处理器将得到的rgbd图像中每个像素点的深度值转换为0-255的灰度值，从而得到灰度深度图，然后对该灰度深度图进行边缘检测提取轮廓，对轮廓进行直线检测，并以直线角度为约束估计最小包围矩形，将检测出的矩形作为托盘平面候选区域，从而得到若干托盘平面候选区域。

进一步的，所述中央处理器对所得任意托盘平面候选区域进行判定：

若该托盘平面候选区域包含至少2个矩形区域，则以该托盘平面候选区域中矩形区域作为叉孔候选区域，计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标，否则，忽略该托盘平面候选区域，对其他托盘平面候选区域进行判定；若所有托盘平面候选区域经判定后均不是托盘平面，则重新从rgbd图像中检测托盘平面候选区域。

进一步的，所述中央处理器在计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标之后，计算托盘平面候选区域中任意2个叉孔候选区域ri与rj的面积比tij，筛选并保留符合阈值范围的2个叉孔候选区域ri与rj，视为检测到货物托盘。

进一步的，所述中央处理器，对保留的叉孔候选区域ri、rj的中心点连线的中点oij作为货物托盘的表面中心点，通过货物托盘的表面中心点oij的灰度值得到货物托盘表面中心点与tof相机之间的距离值d，从而完成对货物托盘的定位。

如图4所示，基于上述检测系统，一种基于tof相机的货物托盘检测方法，包括如下步骤：

步骤1：tof相机采集货物托盘的rgbd图像，通过有线或者无线的方法传输给中央处理器，中央处理器将得到的rgbd图像中每个像素点的深度值转换为0-255的灰度值，从而得到灰度深度图；

步骤2：中央处理器对步骤1中所得灰度深度图进行边缘检测提取轮廓，对轮廓进行直线检测，并以直线角度为约束估计最小包围矩形，将检测出的矩形作为托盘平面候选区域；

步骤3：对步骤2中所得任意托盘平面候选区域进行判定：若该托盘平面候选区域包含至少2个矩形区域，则以该托盘平面候选区域中矩形区域作为叉孔候选区域，计算叉孔候选区域的像素面积及叉孔候选区域中心点的坐标，转步骤4；否则忽略该托盘平面候选区域，对其他托盘平面候选区域进行判定；若所有托盘平面候选区域经判定后均不是托盘平面，则转步骤1；

步骤4：计算托盘平面候选区域中任意2个叉孔候选区域ri与rj的面积比tij，筛选并保留符合阈值范围(t1≤tij≤t2，其中t1,t2分别为面积比区间下边界与上边界)的2个叉孔候选区域ri与rj，视为检测到货物托盘，转步骤5；

步骤5：取步骤4中保留的叉孔候选区域ri、rj的中心点连线的中点oij作为货物托盘的表面中心点，通过货物托盘的表面中心点oij的灰度值得到货物托盘表面中心点与tof相机之间的距离值d，完成对货物托盘的定位。

本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。本发明具有精度高、价格低、鲁棒性强等优点。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。