一种基于人体识别的自动牵引车的跟随系统的制作方法

本发明涉及智能机器人技术领域，尤其涉及一种基于人体识别的自动牵引车的跟随系统。

背景技术：

随着科学技术的迅速发展，自动牵引车(automaticguidedvehicle，agv)已经成为了一种完成繁重和单调的物料搬运工作的智能搬运装置。并且自动牵引车凭借自动化程度高、结构简单、工作效率高、可控性强和安全性好等优势，在仓储物流、制造工业、交通运输、电子产业和国防军事等领域都有着重要的地位。

现有技术中自动牵引车采用的导航方式包括电磁导航、磁带导航、惯性导航、激光导航和视觉导航。其中，电磁导航和磁带导航都需要在agv车行驶道路上埋设金属线或贴磁带，实现对agv车的导引，但是导航路径的扩展性和局限性差；而惯性导航是借助陀螺仪和行驶路径上的定位块来实现对agv车的导引，但是该现有技术的制造成本较高；并且激光导航是借助激光扫描器和激光反射板来实现agv车的导引，但激光束易受环境干扰、设备成本高。

技术实现要素：

针对现有技术中存在的上述问题，现提供一种旨在通过人体识别来引导自动牵引车进行自动跟随，从而使操作简单方便，使用灵活高和安全可靠的基于人体识别的自动牵引车的跟随系统。

具体技术方案如下：

一种基于人体识别的自动牵引车的跟随系统，其中，跟随系统设置在自动牵引车上，包括：

获取模块，与自动牵引车连接，用于获取测量范围的图像和获取自动牵引车周围的障碍物信息；

识别模块，与获取模块连接，用于识别图像中的包括满足预设的识别特征的跟随对象，和障碍物信息；

跟随模块，与识别模块连接，根据跟随对象的动作指令和障碍物信息来控制自动牵引车跟随跟随对象进行工作。

优选的，基于人体识别的自动牵引车的跟随系统，其中，获取模块包括：

环境采集单元，用于采集自动牵引车周围的障碍物信息；

对象获取单元，用于获取测量范围的图像。

优选的，基于人体识别的自动牵引车的跟随系统，其中，环境采集单元包括多个传感器，每个传感器分别设置在自动牵引车的车身上，用于采集自动牵引车四周的障碍物信息。

优选的，基于人体识别的自动牵引车的跟随系统，其中，对象获取单元包括一组摄像设备，摄像设备设置在自动牵引车前端，用于获取测量范围的图像。

优选的，基于人体识别的自动牵引车的跟随系统，其中，摄像设备包括由二维彩色工业相机，双目深度摄像机，飞行时间测距深度相机中的任意组合。

优选的，基于人体识别的自动牵引车的跟随系统，其中，识别模块包括：

处理单元，用于对图像进行处理得到跟随对象；

人体识别单元，与处理单元连接，用于判断跟随对象是否满足人体识别特征；

人体细节识别单元，与人体识别单元连接，用于判断满足人体识别特征的跟随对象是否满足人体细节识别特征。

优选的，基于人体识别的自动牵引车的跟随系统，其中，跟随对象包括用户识别特征和人体动作识别特征；

用户识别特征用于确定跟随对象的信息；

人体动作识别特征用于判断跟随对象的动作指令类型。

优选的，基于人体识别的自动牵引车的跟随系统，其中，识别模块还包括：

存储单元，与人体识别单元和人体细节识别单元连接，用于存储每个独立对象的用户识别特征和人体动作识别特征。

优选的，基于人体识别的自动牵引车的跟随系统，其中，人体细节识别单元包括：

用户识别组件，用于判断跟随对象是否满足任一独立对象的用户识别特征；

第一动作识别组件，与用户识别组件连接，用于判断不满足用户识别特征的跟随对象的动作指令是否满足任一独立对象的人体动作识别特征；

第二动作识别组件，与用户识别组件连接，用于判断满足用户识别特征的跟随对象的动作指令是否满足独立对象的任一人体动作识别特征。

优选的，基于人体识别的自动牵引车的跟随系统，其中，跟随模块包括：

路径单元，根据跟随对象的动作指令获取跟随方向；

判断单元，与路径单元连接，用于判断跟随方向是否有障碍物信息；

跟随单元，与判断单元连接，用于根据障碍物信息依据动作指令调整跟随方向。

上述技术方案具有如下优点或有益效果：通过人体识别来引导自动牵引车进行自动跟随，从而使操作简单方便，使用灵活高和安全可靠。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明基于人体识别的自动牵引车的跟随系统实施例的结构示意图；

图2为本发明基于人体识别的自动牵引车的跟随系统实施例的人体细节识别单元的结构示意图。

附图标记：1、获取模块，11、环境采集单元，12、对象获取单元，2、识别模块，21、处理单元，22、人体识别单元，23、人体细节识别单元，231、用户识别组件，232、第一动作识别组件，233、第二动作识别组件，24、存储单元，3、跟随模块，31、路径单元，32、判断单元，33、跟随单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，本发明包括一种基于人体识别的自动牵引车的跟随系统，其中，跟随系统设置在自动牵引车上，包括：

获取模块1，与自动牵引车连接，用于获取测量范围的图像和获取自动牵引车周围的障碍物信息；

识别模块2，与获取模块1连接，用于识别图像中的包括满足预设的识别特征的跟随对象，和障碍物信息；

跟随模块3，与识别模块2连接，根据跟随对象的动作指令和障碍物信息来控制自动牵引车跟随跟随对象进行工作。

进一步地，作为优选的实施方式，通过识别跟随对象的多个人体动作识别特征中的一个人体动作识别特征来控制自动牵引车，可以实现人体识别和跟随对象通过人体动作来控制自动牵引车运动，从而使操作简单方便、使用灵活高、安全可靠。

进一步地，作为优选的实施方式，测量范围可以为自动牵引车的正前方，当跟随对象进行测量范围时，系统直接获取测量范围地图像，从而使获取图像的过程更加方便，当然测量范围也可以为其他位置，例如自动牵引车的四周，可以实现在自动牵引车四周就可以控制自动牵引车的作用；如果有待测物出现在测量范围外，则自动牵引车处于待机状态，但是系统持续工作。

进一步地，在上述实施例中，获取模块1包括：

环境采集单元11，用于采集自动牵引车周围的障碍物信息；

对象获取单元12，用于获取测量范围的图像。

进一步地，在上述实施例中，环境采集单元11包括多个传感器，每个传感器分别设置在自动牵引车的车身上，用于采集自动牵引车四周的障碍物信息。

上述实施例中，通过设置在自动牵引车四周的传感器，方便采集四周的所有障碍物信息。

进一步地，作为优选的实施方式，每个传感器对应设置通信组件，每个传感器通过对应的通信组件将障碍物信息传递给识别模块2。

进一步地，在上述实施例中，对象获取单元12包括一组摄像设备，摄像设备设置在自动牵引车前端，用于获取测量范围的图像。

进一步地，在上述实施例中，摄像设备包括由二维彩色工业相机，双目深度摄像机，飞行时间测距深度相机中的任意组合。

进一步地，作为优选的实施方式，摄像设备可以为双目深度摄像机装置，上述双目深度摄像机装置包括两台二维彩色工业相机和一个结构光源；例如深度视觉装置可以为复合双目深度摄像机装置，上述复合双目深度摄像机装置包括一台二维彩色工业相机和一台tof(timeofflight-飞行时间测距)深度相机；例如深度视觉装置可以为深度摄像机装置，上述深度摄像机装置包括多台tof深度相机；其中摄像设备可以为上述示例中的一种或多种摄像机装置组成。需要说明的是，tof深度相机可以更快的获取视野范围内的物体边缘，分割跟随对象；二维彩色工业相机为对象提供更多的视觉特征，有利于对象识别。

进一步地，在上述实施例中，识别模块2包括：

处理单元21，用于对图像进行处理得到跟随对象；

人体识别单元22，与处理单元21连接，用于判断跟随对象是否满足人体识别特征；

人体细节识别单元23，与人体识别单元22连接，用于判断满足人体识别特征的跟随对象是否满足人体细节识别特征。

进一步地，作为优选的实施方式，系统首先通过深度图像和彩色图像的复合边框识别剥离得到跟随对象；接着获取该跟随对象的人体特征，再将上述人体特征与人体识别特征进行比较，判断人体特征与人体识别特征是否一致，将人体特征与人体识别特征一致的跟随对象发送给人体细节识别单元23；然后获取上述跟随对象的人体细节特征，将上述人体细节特征与人体细节识别特征进行比较，判断人体细节特征与人体细节识别特征是否一致。

需要说明的是，上述图像包括彩色图像和深度图像，彩色图像有利于识别模块2进行识别图像中的人体，深度图像有利于识别模块2识别图像中的人体的躯干。

进一步地，在上述实施例中，跟随对象包括用户识别特征和人体动作识别特征；

用户识别特征用于确定跟随对象的信息；

人体动作识别特征用于判断跟随对象的动作指令类型。

进一步地，在上述实施例中，识别模块2还包括：

存储单元24，与人体识别单元22和人体细节识别单元23连接，用于存储每个独立对象的用户识别特征和人体动作识别特征。

进一步地，在上述实施例中，上述存储单元24中保存有多个跟随对象，每个跟随对象都有用户识别特征和人体动作识别特征，即一个跟随对象中只有一个用户识别特征和多个人体动作识别特征，因此通过查找用户识别特征就可以找到对应的跟随对象或其中一个人体动作识别特征重新进行独立对象的注册。

进一步地，作为优选的实施方式中，人体识别单元22包括：

人体轮廓识别组件，用于判断跟随对象是否满足人体轮廓特征；

人体各关节识别组件，与人体轮廓识别组件连接，用于判断满足人体轮廓特征的跟随对象是否满足人体各关节特征。

进一步地，作为优选的实施方式，通过tof深度相机或其他深度相机系统获取的点云数据映射到2d彩色图像位置，就能从彩色图像中去除背景从而识别剥离得到跟随对象，然后通过一系列图像处理过程来获取跟随对象的人体特征(主要是跟随对象的人体轮廓)，将跟随对象的人体特征比对人体轮廓特征，判断图像上是否出现了可能作为人体的跟随对象；接着在深度图像物体位置，判断满足人体识别特征的跟随对象是否满足人体各关节特征(其中人体细节识别特征包括身体的不同部位：如头部、躯干、上下臂和上下腿等)通过马尔科夫随机区域的算法(mrfs)确认人体各关节位置，最终确定跟随对象是否为完整的人体。

其中，一系列图像处理过程包括但不限于去噪、锐化、边缘识别、膨胀和腐蚀。

进一步地，在上述实施例中，如图2所示，人体细节识别单元23包括：

用户识别组件231，用于判断跟随对象是否满足任一独立对象的用户识别特征；

其中，用户识别特征主要包括跟随对象的面部特征，当然也可以包括跟随对象的其他特征的相结合的特征。

进一步地，作为优选的实施方式，用户识别组件231首先获取跟随对象的用户特征，再将上述用户特征与存储单元24中存储的所有独立对象的用户识别特征进行比较，当用户特征与任一独立对象的用户识别特征一致时，将上述跟随对象定义为对应的独立对象，此时通过该跟随对象对应的人体动作识别特征来控制自动牵引车。

进一步地，作为优选的实施方式，跟随对象的用户特征包括但不限于：使用者的人脸数据、身高数据、肩宽数据、臂长数据、腿长数据，以及基于人体关节的20个相对位置的色彩数据包括但不限于发色、手肘部位颜色、双肩部位颜色、胯部颜色、腰部颜色、膝盖部位颜色、大腿部位颜色等。

第一动作识别组件232，与用户识别组件231连接，用于判断不满足用户识别特征的跟随对象的动作指令是否满足任一独立对象的人体动作识别特征；

第二动作识别组件233，与用户识别组件231连接，用于判断满足用户识别特征的跟随对象的动作指令是否满足独立对象的任一人体动作识别特征。

进一步地，作为优选的实施方式，第一动作识别组件232首先获取不满足用户识别特征的跟随对象的动作指令，再将动作指令与存储单元24中存储的所有独立对象的人体动作识别特征进行比较，当动作指令与任一独立对象的任一人体动作识别特征一致时，将上述独立对象定义注册为新的独立对象，此时通过该独立对象对应的人体动作识别特征来控制自动牵引车，即通过该动作指令控制自动牵引车1。

进一步地，在上述实施例中，人体动作识别组件包括：

获取坐标块，用于获取跟随对象的每个关节的坐标；

动作指令块，与获取坐标块连接，根据每个关节的坐标得到跟随对象的动作指令；

人体动作识别块，与动作指令块连接，用于判断动作指令是否为任一独立对象的人体动作识别特征。

进一步地，作为优选的实施方式，人体动作识别组件包括获取坐标块，上述获取坐标块建立三维空间坐标系，并给跟随对象的每一个关节设置对应的坐标，并将上述坐标发送给动作指令块，动作指令块根据跟随对象上述坐标的运动轨迹(通过关节点跟踪算法获得运动轨迹为所有坐标的连接，从而实现关键部位静态的起始终止姿态匹配和动态的关键部位运动轨迹匹配)和相对位置得到独立对象的动作指令，并将上述动作指令发送给人体动作识别块，人体动作识别块将动作指令与存储单元24中存储的所有独立对象的人体动作识别特征进行比较，当动作指令与任一独立对象的任一人体动作识别特征一致时，将上述跟随对象定义为对应的控制对象，此时通过该控制对象对应的人体动作识别特征来控制自动牵引车，即通过该动作指令控制自动牵引车。

需要说明的是，上述关节点跟踪算法，包括光流跟踪法和卡尔曼滤波算法。主要先采用光流跟踪法，使用深度相机获取的关节位置，通过连续的两张图片关节位置相同颜色部分的运动轨迹，结合各自深度图像的位置信息计算出运动轨迹。再根据卡尔曼滤波算法优化由于视觉系统抖动、过曝和相似物体误识别所造成的误差。

例如，跟随对象的关键部位为手、手肘和肩这三个位置，举手的起始静态姿势为手与手肘低于肩部高度，举手的终止姿态为手高出肩部一定距离，整个手和手肘运动过程是一个单次的曲线，并且在终止位置停顿一段时间。这整个过程被判定为一个举手动作。除此之外的动作指令还包括但不限于：挥手、伸手和展开手臂等。

进一步地，在上述实施例中，跟随模块3包括：

路径单元31，根据跟随对象的动作指令获取跟随方向；

判断单元32，与路径单元31连接，用于判断跟随方向是否有障碍物信息；

跟随单元33，与判断单元32连接，用于根据障碍物信息依据动作指令调整跟随方向。

进一步地，作为优选的实施方式，跟随模块3可以根据跟随对象进行移动，保证人车之间的一定距离，以及保证跟随对象基本上在测量范围内。跟随模块3也可以实现整车与跟随对象保持短距离，并持续后退，根据跟随对象的位置摆动方向轮(主要是在深度图像中获得位置)。

进一步地，作为优选的实施方式，路径单元31中包括一个存储组件，上述存储组件用于存储路径信息，跟随单元33可以直接根据上述路径信息控制agv小车进行移动，跟随单元33也可以根据障碍物信息依据动作指令调整跟随方向，同时根据自身到跟随目标的距离，实时删除已经行过的路径点。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。