一种基于点云平面轮廓匹配的货物托盘检测方法及系统与流程

本发明涉及工业机器人技术领域，具体地，涉及一种基于点云平面轮廓匹配的货物托盘检测方法及系统。

背景技术：

随着现代物流技术的发展，自动引导车(agv)在智能仓储技术中发挥着越来越重要的作用，而对货物托盘的检测是agv的核心技术之一。仓储环境具有背景复杂、光线条件不稳定、动/静态障碍物较多等特点，精准高效的对货物托盘检测与定位是目前亟待解决的问题。

目前对货物托盘的检测主要采用视觉检测、激光雷达检测等方法。其中，单目视觉成本虽然不高，但精度不高、受光线影响大；多线激光雷达和双目视觉检测都具有精度高的特点，但是多线激光雷达价格过于昂贵、双面视觉检测受光照影响大；单线激光雷达成本相对较低，但是获取信息量不足，容易产生误检；基于特征标签的视觉检测方法，对于标签的敷设精度要求比较高，环境鲁棒性不好等等。

比如公开号为cn104777835a，申请号为cn201510106059.3的发明专利申请，其公开一种全向自动叉车及3d立体视觉导航定位方法，采用双目立体视觉进行托盘定位，易受仓储环境中复杂光照的影响；公开号为cn106044645a，申请号为cn201610620160.5的发明专利申请，其公开一种基于二维码定位的货物托盘存取系统、及其存取方法，采用单目视觉检测托盘表面敷设的二维码实现对托盘的定位，但仅限于近距离检测场景。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于轮廓匹配的货物托盘检测方法及系统，具有精度高、价格低、鲁棒性强等优点。

为实现以上目的，本发明采用以下技术方案：

根据本发明第一目的，提供一种基于点云平面轮廓匹配的货物托盘检测方法，所述方法包括如下步骤：

步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；

步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；

步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；

步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；

步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

优选地，步骤2中，所述的平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。

优选地，步骤4中：

若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤5；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。

根据本发明第二目的，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：

原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；

点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；

投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；

轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；

轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；

获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

优选地，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。

优选地，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。

与现有技术相比，本发明具有如下的有益效果：

本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一优选实施例的方法流程图；

图2为本发明一优选实施例中系统结构框图；

图3a为本发明一实施例中实际场景图；

图3b为本发明一实施例中原始点云图；

图3c为本发明一实施例中颜色滤波后的点云图；

图3d为本发明一实施例中离群点剔除的点云图；

图3e为本发明一实施例中法线估计的点云图；

图3f为本发明一实施例中区域生长的点云图；

图3g为本发明一实施例中点云栅格化图；

图3h为本发明一实施例中点云栅格图轮廓提取图；

图3i为本发明一实施例中托盘平面轮廓图；

图3j为本发明一实施例中托盘识别结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参照图1所示，一种基于点云平面轮廓匹配的货物托盘检测方法的流程图，包括如下步骤：

步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；

步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；

步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；

步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；

步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

参照图2所示，对应于上述方法，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：

原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；

点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；

投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；

轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；

轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；

获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

在一优选实施例中，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。

在一优选实施例中，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。

参照图3a-3j所示，为本发明一实施例中托盘检测的图像处理过程，其中：

步骤1：原始点云滤波

由传感器采集仓储环境点云，通过颜色滤波可以将可能包含托盘的点云分割出来，并使用滤波算法剔除稀疏的离群点。在本实施例中，具体地：

计算每个点到其邻域k个临近点的平均距离x，并给定邻域平均距离的均值μ和标准差σ，若x超出邻域平均距离均值3σ以上，则认为该点为离群点并剔除，根据点云的颜色分量分割出场景中的点云；

如图3a所示，为实际场景图，其中中间部分为要检测的托盘；如图3b所示，为图3a中的托盘的原始点云；如图3d所示，为离群点剔除后的点云。

步骤2：点云平面分割

对步骤1中滤波得到的点云中任一点进行法线估计，并采用区域生长的方式进行平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点集数量上限和下限以剔除过大或过小的平面，得到分割后的点云平面；

如图3e所示，本实施例中为法线估计后的点云图，如图3f所示，为区域生长后的点云图。

步骤3：投影生成栅格图

对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图，具体地，

1)取视点o(0,0,0)作为原点，平面法向量作为z轴单位向量建立托盘坐标系，托盘坐标系与传感器坐标系之间存在旋转关系：

其中r3*3为旋转矩阵；

2)设置单通道栅格图长宽分别为w、h，每个栅格的物理尺度长宽分别为grid_w、grid_h，栅格图对应托盘坐标系中区域r沿z轴方向在xoy平面的投影；

3)将所有数据点归入对应的栅格，并将归一化的投影高度设置为栅格灰度值；

如图3g所示，为本实施例中点云栅格化后的示意图。

步骤4：轮廓特征提取

使用canny算子提取步骤3中的各点云栅格图的轮廓，采用融合轮廓hu不变矩和尺度比例特征为托盘轮廓特征向量，用于托盘的检测和识别，具体地：

对于轮廓c，以像素为基本单位，定义其轮廓外接矩形的长和宽分别为w、h，轮廓周长为l，轮廓面积(区域内像素个数)为s，以此构建目标轮廓的长宽比s1和占空比s2两个尺度比例特征：

s1＝w/h

s2＝s/(w*h)

融合前两个hu不变矩m1、m2及两个尺度比例特征，构建新的托盘轮廓特征向量

如图3h所示，为本实施例中点云栅格图轮廓提取图。

步骤5：轮廓匹配

对于待检测轮廓a和模板轮廓b，采用欧式距离建立轮廓匹配相似度d(a,b)，即：

由相似度d(a,b)的定义可知，相似度d(a,b)越小，表明待检测轮廓与模板轮廓越接近；反之表明待检测轮廓与模板轮廓偏离程度越大。分别指轮廓a和b的hu不变矩；分别指轮廓a和b的尺度比例特征。

将步骤4提取的轮廓分别与货物托盘立面轮廓模板进行匹配；若提取的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤6；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配；

如图3i所示，为托盘平面轮廓图。

步骤6：获取相对位姿

匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

如图3j所示，为本实施例中托盘识别结果。

本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。

需要说明的是，本发明提供的所述基于点云平面轮廓匹配的货物托盘检测方法中的步骤，可以利用所述基于点云平面轮廓匹配的货物托盘检测系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。