用于AGV叉车的托盘姿态识别系统及其方法与流程

本发明涉及一种用于agv叉车的托盘姿态识别系统及其方法。

背景技术：

目随着现代电商及物流技术的快速发展，agv(automaticguidancevehicle)在智能仓储技术种发挥着越来越重要的作用，对货物托盘的检测、识别的技术变的至关重要。

当agv叉车要对托盘进行叉取操作时，如果托盘和agv叉车之间的角度大于一定的阈值，或者托盘的位置与叉车之间有很大的偏移，则叉车的叉子无法顺利插入托盘底部。因此需要对托盘的位姿进行识别，以便调整agv的位姿，进而实现对托盘的顺利叉取。

目前的对货物托盘的检测主要用视觉检测、激光雷达检测，单目视觉成本虽然不高，精度不高、受光线的影响较大；多线激光和双目视觉检测都具有精度高的特点，但是多线激光雷达价格昂贵、双面视觉检测光照影响大；单线激光雷达成本较低，但是多线激光雷达价格过于昂贵、双面视觉检测受光照影响大。

技术实现要素：

本发明提供了一种用于agv叉车的托盘姿态识别系统及其方法，采用如下的技术方案：

一种用于agv叉车的托盘姿态识别系统，包含：

图像获取模块，用于获取托盘的原始图像；

图像识别模块，用于接收图像获取模块获取到的原始图像并从原始图像中识别出关键位置区域；

数据获取模块，用于获取关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr；

数据计算模块，用于计算原始图像中的托盘的中心位置与原始图像的中心位置之间的距离得到托盘的偏移量以及计算左侧高度hl和右侧高度hr的比值得到托盘的旋转量。

进一步地，用于agv叉车的托盘姿态识别系统还包括：

预处理模块，用于对图像获取模块获取到的原始图像进行预处理后再发送至图像识别模块。

进一步地，用于agv叉车的托盘姿态识别系统还包括：

模板存储模块，用于存储若干托盘模板，图像识别模块根据预处理后的原始图像从模板存储模块中匹配到其所对应的托盘模板并根据匹配到的托盘模板从原始图像中识别出关键位置区域。

进一步地，用于agv叉车的托盘姿态识别系统还包括：

边缘提取模块，用于从关键位置区域提取出托盘的边缘线得到托盘轮廓，数据获取模块根据提取出的托盘轮廓获取托盘的中心位置以及左侧高度hl和右侧高度hr。

进一步地，用于agv叉车的托盘姿态识别系统还包括：

数据比较模块，用于判断计算得到的偏移量和旋转量是否大于阈值。

一种用于agv叉车的托盘姿态识别方法，包含以下步骤：

获取托盘的原始图像；

识别出原始图像中的关键位置区域；

获取关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr；

计算原始图像中的托盘的中心位置与原始图像的中心位置之间的距离得到托盘的偏移量以及计算左侧高度hl和右侧高度hr的比值得到托盘的旋转量。

进一步地，获取托盘的原始图像后对原始图像进行预处理；

进一步地，根据预处理后的原始图像匹配到其所对应的托盘模板并根据匹配到的托盘模板从原始图像中识别出关键位置区域。

进一步地，从关键位置区域提取出托盘的边缘线得到托盘轮廓，根据提取出的托盘轮廓获取托盘的中心位置以及左侧高度hl和右侧高度hr。

进一步地，用于agv叉车的托盘姿态识别方法还包含以下步骤：

判断偏移量和旋转量是否大于阈值；

当偏移量和旋转量中的一个大于阈值时，根据计算得到偏移量和旋转量调整agv叉车至准确的位置。

本发明的有益之处在于所提供的用于agv叉车的托盘姿态识别系统及其方法中的agv叉车能够自动识别图像中的包含托盘的关键位置区域，并能够从关键位置区域中自动识别托盘相对自身的旋转和偏移程度，得到托盘相对agc叉车的位姿信息。

本发明的有益之处在于所提供的用于agv叉车的托盘姿态识别系统及其方法还可以判断托盘和agv叉车之间的偏差大小，在偏差大于一定阈值的情况下调整agv叉车的位置进而可以更好的将托盘叉起。

附图说明

图1是本发明的用于agv叉车的托盘姿态识别系统的示意图；

图2是本发明的用于agv叉车的托盘姿态识别方法的示意图。

用于agv叉车的托盘姿态识别系统100，图像获取模块10，图像识别模块20，数据获取模块30，数据计算模块40，预处理模块50，模板存储模块60，边缘提取模块70，数据比较模块80。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示为一种用于agv叉车的托盘姿态识别系统100，包含：图像获取模块10、图像识别模块20、数据获取模块30和数据计算模块40。其中，图像获取模块10用于获取托盘的原始图像。图像识别模块20用于接收图像获取模块10获取到的原始图像并从原始图像中识别出关键位置区域。数据获取模块30用于获取关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr。数据计算模块40用于计算原始图像中的托盘的中心位置与原始图像的中心位置之间的距离得到托盘的偏移量以及计算左侧高度hl和右侧高度hr的比值得到托盘的旋转量。具体而言，图像获取模块10为工业面阵相机，设置在agv叉车上，通过该工业面阵相机获取到待叉取的托盘的原始图像，该原始图像为rgb图像，将该原始图像发送到图像识别模块20通过图像识别模块20进一步的快速定位到原始图像中的关键位置区域，关键位置区域包含了托盘，通过图像识别模块20能够快速识别出原始图像中的托盘的区域并将该区域框选出来以定位原始图像中的托盘。数据获取模块30能够获取到关键位置区域中的托盘的相关数据，包括托盘的中间位置以及托盘的左侧高度hl和右侧高度hr。数据计算模块40计算左侧高度hl和右侧高度hr的比值可以得到托盘相对agv叉车的旋转量，在已知原始图像的中间位置的情况下，数据计算模块40计算关键位置区域中的托盘的中心位置和原始图像的中间位置的距离得到托盘相对agv叉车的偏移量，具体的，原始图像的中间位置的横向坐标xml是已知的，数据获取模块30获取到关键位置区域中的托盘的中心位置的横向坐标xm，两者之间的差值的绝对值即为偏移量。计算得到了托盘相对agv叉车的偏移量和旋转量，即得到托盘相对agv叉车的位姿信息。可以理解的是，托盘一般包括位于上方的支撑板和位于下方的支脚，此处，托盘的左侧高度hl和右侧高度hr可以是支脚的高度，也可以是支脚和支撑板两者高度之和。

作为一种优选的实施方式，用于agv叉车的托盘姿态识别系统100还包括预处理模块50，该预处理模块50用于对图像获取模块10获取到的原始图像进行预处理后再发送至图像识别模块20。预处理的方式包括但不限于灰度转换和对比度调节等，对原始图像进行预处理，可以提高后续的相关模块处理图像时的效率。

作为一种优选的实施方式，用于agv叉车的托盘姿态识别系统100还包括模板存储模块60，模板存储模块60用于存储若干托盘模板，图像识别模块20根据预处理后的原始图像从模板存储模块60中匹配到其所对应的托盘模板并根据匹配到的托盘模板从原始图像中识别出关键位置区域。为了能够快速识别出原始图像中包含托盘的关键位置区域，预先提取未偏转的不同种类的托盘图像的特征点，生产托盘特征模板文件作为托盘模板存储至模板存储模块60中，不同的托盘模板对应不同种类的托盘，图像识别模块20接收到预处理后的原始图像后，提取原始图像的特征点，将其与模板存储模块60中存储的模板进行匹配，得到原始图像中的托盘所对应的托盘模板，再根据匹配到的托盘模板从原始图像中快速识别出关键位置区域，进而通过数据获取模块30获取关键位置区域中的托盘的相关数据。

作为一种优选的实施方式，用于agv叉车的托盘姿态识别系统100还包括边缘提取模块70，用于从关键位置区域提取出托盘的边缘线得到托盘轮廓，具体的可以运用霍夫变换提取托盘边缘线，数据获取模块30根据提取出的托盘轮廓获取托盘的中心位置以及左侧高度hl和右侧高度hr。具体而言，边缘提取模块70能够快速提取出关键位置区域中的托盘的边缘线条得到托盘轮廓，数据获取模块30根据该托盘轮廓能够快速获取到托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr。

作为一种优选的实施方式，用于agv叉车的托盘姿态识别系统100还包括用于判断计算得到的偏移量和旋转量是否大于阈值的数据比较模块80。agv叉车检测托盘的位姿信息的主要目的是为了判断托盘相对agv叉车的位置误差，根据该误差调整agv叉车和托盘之间的相对位置使agv叉车能够准确的将托盘叉起，由于agv叉车的叉臂的宽度比托盘的支脚间的间距小很多，因此，当检测出的偏转量和偏移量比较小的时候，不用调整agv叉车也能够将托盘叉起，因此，为了避免agv叉车频繁调整位姿从而影响工作效率，当数据比较模块80判断得到检测出的偏转量和偏移量小于预设的阈值时，agv叉车不执行调整位姿的操作，只有当偏移量和旋转量中的一个大于阈值时，根据计算得到偏移量和所述旋转量调整agv叉车至准确的位置。在本实施例中，偏移量大于10mm时，agv叉车执行位姿调整，旋转量大于1.05或者小于0.95时，agv叉车执行位姿调整。可以理解的是，偏移量和旋转量的阈值可以根据agv叉车和托盘的具体尺寸进行适配性调整。

基于上述的用于agv叉车的托盘姿态识别系统100，本发明还公开一种用于agv叉车的托盘姿态识别方法，如图2所示，包含以下步骤：s1:获取托盘的原始图像。s2:识别出原始图像中的关键位置区域。s3：获取关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr。s4：计算原始图像中的托盘的中心位置与原始图像的中心位置之间的距离得到托盘的偏移量以及计算左侧高度hl和右侧高度hr的比值得到托盘的旋转量。通过上述步骤，能够得到托盘相对agv叉车的位姿信息。

对于步骤s1:获取托盘的原始图像。

具体而言，首先通过设置在agv叉车上的图像获取模块10获取到待叉取的托盘的原始图像，该原始图像为rgb图像，在本发明中，图像获取模块10为工业面阵相机。

进一步地可选的，再通过预处理模块50对原始图像进行预处理。

对于步骤s2:识别出原始图像中的关键位置区域。

通过图像识别模块20从步骤s1的原始图像中识别出包含托盘的关键位置区域。

具体而言，图像识别模块20接收到预处理后的原始图像后，提取原始图像的特征点，将其与模板存储模块60中存储的模板进行匹配，得到原始图像中的托盘所对应的托盘模板，再根据匹配到的托盘模板从原始图像中快速识别出关键位置区域。

对于步骤s3：获取关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr。

通过数据获取模块30获取到关键位置区域中的托盘的中心位置以及关键位置区域中的托盘的左侧高度hl和右侧高度hr。

具体而言，可以通过边缘提取模块70从关键位置区域提取出托盘的边缘线得到托盘轮廓，数据获取模块30根据提取出的托盘轮廓获取托盘的中心位置以及左侧高度hl和右侧高度hr。在本发明中，边缘提取模块70运用霍夫变换的方法提取托盘边缘线。

对于步骤s4：计算原始图像中的托盘的中心位置与原始图像的中心位置之间的距离得到托盘的偏移量以及计算左侧高度hl和右侧高度hr的比值得到托盘的旋转量。

具体而言，数据计算模块40计算左侧高度hl和右侧高度hr的比值得到托盘相对agv叉车的旋转量，原始图像的中间位置的横向坐标xml是已知的，数据获取模块30获取到关键位置区域中的托盘的中心位置的横向坐标xm，数据计算模块40计算两者之间的差值，该差值的绝对值即为偏移量。计算得到了托盘相对agv叉车的偏移量和旋转量，即得到托盘相对agv叉车的位姿信息。

进一步地，用于agv叉车的托盘姿态识别方法还包含步骤s5：判断偏移量和旋转量是否大于阈值，并当偏移量和旋转量中的一个大于阈值时，根据计算得到偏移量和旋转量调整agv叉车至准确的位置。具体的，偏移量的大于10mm时，agv叉车执行位姿调整，旋转量大于1.05或者小于0.95时，agv叉车执行位姿调整。偏移量和旋转量的阈值可以根据agv叉车和托盘的具体尺寸进行适配性调整。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。