一种移动机器人抓取作业系统及控制方法与流程

本发明涉及抓取作业系统，尤其涉及一种应用于移动机器人的抓取作业系统及控制方法，适用于智能服务机器人的自主抓取作业。

背景技术：

现如今大量机器人应用于人类的社会生活和生产之中，以协助或替代人类开展部分重复性或服务性工作，起初多应用在一些结构化工作环境中，例如生产业、建筑业等。随着机器人智能程度的提高，越来越多的智能移动机器人出现在了各行各业之中，尤其是服务业。智能移动机器人在社会生产与生活中扮演着愈发重要的角色的同时也带来了服务业的巨大革新。

智能移动机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统，其中行为控制与执行是实现其作业能力的一个重要环节，是机器人系统中极为重要的组成部分，抓取作业则是智能移动机器人的行为控制与执行环节中极为关键的一部分。目前关于移动机器人抓取作业系统的研究集中在固定场景下的抓取作业或者非自主抓取作业，这很大程度上限制了智能移动机器人在服务业中的服务能力和作业效率，也降低了智能移动机器人的自主化作业水平，使得服务业中的智能移动机器人对于结构化环境较为依赖，同时需要一定的人力协作来保证其正常工作。采取以上抓取作业系统的智能移动机器人在服务行业的实际工作场景中难以替代人类自主完成服务工作。

技术实现要素：

本发明要解决的问题是提供一种移动机器人抓取作业系统及控制方法，设计出一种在服务行业工作环境中可以有效自主完成抓取作业的机器人抓取作业系统及控制方法。此系统具有较强的环境适应能力，可在非结构化环境中开展抓取作业；具备自主作业能力，可以自主完成整个抓取作业过程；整套移动机器人抓取作业系统应具有简单可靠的硬件结构、较高的集成度以及系统稳定性，可胜任绝大多数移动机器人工作场景中的抓取作业，有利于技术推广与应用普及。

一种移动机器人抓取作业系统，包括系统控制单元和柔性抓取单元，所述柔性抓取单元包括机械臂和软体机械手，还包括：智能感知单元和移动平台；

所述智能感知单元包括基本感知单元、云台、处理器和嵌入式计算平台；用于实现物体的识别与定位；

所述柔性抓取单元，实现对物品安全抓取，软体机械手由气泵驱动；

所述系统控制单元，利用通讯线缆分别与智能感知单元、柔性抓取单元以及移动平台连接通讯，接收到智能感知单元的感知信息后发送控制信号给移动平台及柔性抓取单元完成相应的作业过程；

所述移动平台，搭载智能感知单元、柔性抓取单元、系统控制单元及电源模块，电源模块提供所有单元所需的电源需求，实现整套抓取作业系统作业过程中的移动环节。

进一步的，所述基本感知单元包括单目相机和单线激光测距模块，激光测距模块由云台驱动；处理器用于处理激光测距模块信息、云台电机的控制以及物体三维坐标的计算；嵌入式计算平台处理物体识别算法以及识别定位结果输出。

进一步的，所述三维坐标的计算方法为：

s21，根据单目相机获取到的环境图像利用物体识别神经网络进行物体检测，若未检测到待抓取物体，则控制移动平台旋转或移动来改变系统视野进行进一步检测，若检测出待抓取物体，则根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

s22，将s21获得的物体中心点在像素坐标系中的二维坐标转换为相机坐标系下的三维坐标，式(1)为像素坐标系与相机坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与相机光心连线上，根据转换关系可以得到在任意给定zc时物体中心点在相机坐标系下的坐标(xc,yc,zc)；

s23，根据s22中得到物体中心点在相机坐标系下的坐标(xc,yc,zc)，可求解出物体中心点在相机坐标系下与相机光心oc连线的俯仰角α和航向角β。

s24，根据s23求解出的俯仰角α和航向角β控制云台驱动激光测距模块转动到相应角度对物体进行初步测距，测得距离为d；

s25，根据s24初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为相机光心和激光测距模块光心在yc轴上的间距；

s26，根据修正后的俯仰角α′重新调整激光测距模块角度，精确测量物体中心点距离；

s27，根据s26中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度，参考式(3)可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(xc,yc,zc)，实现物体的识别与定位。

进一步的，所述系统控制单元接收到智能感知单元坐标系下三维坐标(xc,yc,zc)后，根据式(4)将接收到的物体在智能感知单元坐标系下的三维坐标(xc,yc,zc)转换为移动平台坐标系下的三维坐标(xp,yp,zp)，rpc为智能感知单元坐标系与移动平台坐标系的旋转矩阵，tpc为智能感知单元坐标系与移动平台坐标系的平移矩阵；

以s31中的物体在移动平台坐标系下的三维坐标(xp,yp,zp)作为移动平台控制反馈量，控制输入为移动平台目标坐标，设计以速度作为输出量的pid控制器来控制移动平台移动移动到指定位置。

进一步的，系统控制单元接收到智能感知单元坐标系下三维坐标(xc,yc,zc)后，根据式(5)将接收到的物体在智能感知单元坐标系下的三维坐标(xc,yc,zc)转换为机械臂坐标系下的三维坐标，其中(xc,yc,zc)为物体在智能感知单元坐标系下的三维坐标，(xj,yj,zj)为物体在机械臂坐标系下的三维坐标，rjc为智能感知单元坐标系与机械臂坐标系的旋转矩阵，tjc为智能感知单元坐标系与机械臂坐标系的平移矩阵；

根据转换得到的物体在机械臂坐标系下的三维坐标(xj,yj,zj)，由系统控制单元向机械臂以及电磁阀发送控制指令完成物体静态抓取工作。

一种移动机器人抓取作业系统控制方法，所述作业系统包括系统控制单元和柔性抓取单元、智能感知单元和移动平台，柔性抓取单元包括机械臂和软体机械手；控制方法包括以下步骤：

s1，指定系统要抓取的物体种类，将物体种类输入到系统控制单元中；

s2，系统自动搜寻待抓取物体并定位，若智能感知单元在系统当前视野内未发现待抓取物体，系统控制单元将控制移动平台进行旋转或移动等来调整系统视野，当智能感知单元识别到待抓取物体后，开展三维定位工作，得到智能感知单元坐标系下的物体三维坐标，识别与三维定位工作完成后通过通讯线缆将物体识别信息与三维坐标发送到系统控制单元；

s3，系统控制单元接收到物体识别信息与三维坐标后，将物体三维坐标转换为移动平台坐标系下的三维坐标，根据移动平台坐标系下的物体三维坐标来向移动平台发送控制指令，使其移动到指定位置，即可以开展抓取作业的范围之内，此过程中系统控制单元始终与智能感知单元保持通讯，实时更新物体三维坐标作为控制移动平台的反馈量；

s4，当移动平台进入到抓取作业范围之内后，移动平台停止移动保持静止状态，系统控制单元读取智能感知单元发出的物体三维坐标并转换为机械臂坐标系下的三维坐标，并向机械臂发送控制指令控制其移动到待抓取物体的正上方，此时系统控制单元通过控制电磁阀来使软体机械手张开，待软体机械手张开后，机械臂带动软体机械手向下运动，当软体机械手根据物体三维坐标移动到指定位置时，系统控制单元再次控制电磁阀来使软体机械手闭合，闭合后由机械臂带动软体机械手运动抓起物体；

s5，成功抓起物体后，系统控制单元控制移动平台运动到指定位置后控制机械臂与软体机械手将物体摆放在相应位置，完成系统整个抓取作业过程。

进一步的，所述步骤s2具体包括：

s21，根据单目相机获取到的环境图像利用物体识别神经网络进行物体检测，若未检测到待抓取物体，则控制移动平台旋转或移动来改变系统视野进行进一步检测，若检测出待抓取物体，则根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

s22，将s21获得的物体中心点在像素坐标系中的二维坐标转换为单目相机坐标系下的三维坐标，式(1)为像素坐标系与单目相机坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与单目相机光心连线上，根据转换关系可以得到在任意给定zc时物体中心点在单目相机坐标系下的坐标(xc,yc,zc)；

s23，根据s22中得到物体中心点在相机坐标系下的坐标(xc,yc,zc)，可求解出物体中心点在相机坐标系下与相机光心oc连线的俯仰角α和航向角β。

s24，根据s23求解出的俯仰角α和航向角β控制云台驱动单线激光测距模块转动到相应角度对物体进行初步测距，测得距离为d；

s25，根据s24初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为单目相机光心单线和激光测距模块光心在yc轴上的间距；

s26，根据修正后的俯仰角α′重新调整激光测距模块角度，精确测量物体中心点距离；

s27，根据s26中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度，参考式(3)可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(xc,yc,zc)，实现物体的识别与定位。

进一步的，所述步骤s3具体包括：

s31，根据式(4)将接收到的物体在智能感知单元坐标系下的三维坐标转换为移动平台坐标系下的三维坐标，其中(xc,yc,zc)为物体在智能感知单元坐标系下的三维坐标，(xp,yp,zp)为物体在移动平台坐标系下的三维坐标，rpc为智能感知单元坐标系与移动平台坐标系的旋转矩阵，tpc为智能感知单元坐标系与移动平台坐标系的平移矩阵；

s32，以s31中的物体在移动平台坐标系下的三维坐标(xp,yp,zp)作为移动平台控制反馈量，控制输入为移动平台目标坐标，设计了以速度作为输出量的pid控制器来控制移动平台移动到指定位置；

进一步的，所述步骤s4具体包括：

s41，根据式(5)将接收到的物体在智能感知单元坐标系下的三维坐标转换为移动平台坐标系下的三维坐标，其中(xc,yc,zc)为物体在智能感知单元坐标系下的三维坐标，(xj,yj,zj)为物体在机械臂坐标系下的三维坐标，rjc为智能感知单元坐标系与机械臂坐标系的旋转矩阵，tjc为智能感知单元坐标系与机械臂坐标系的平移矩阵；

s42，根据s41转换得到的物体在机械臂坐标系下的三维坐标(xj,yj,zj)，由系统控制单元向机械臂以及电磁阀发送控制指令完成物体静态抓取工作。

本发明与背景技术相比，具有有益的效果是：

本发明中提及的移动机器人抓取作业系统在服务行业实际工作场景中可以有效地开展移动机器人的自主抓取作业工作，极大得提高了移动机器人的自主作业能力和服务能力。此系统具有较强的环境适应能力，可在非结构化环境中开展抓取作业；具备自主作业能力，可以自主完成整个抓取作业过程；整套移动机器人抓取作业系统具有简单可靠的硬件结构、较高的集成度以及系统稳定性，可胜任绝大多数移动机器人工作场景中的抓取作业，有利于技术推广与应用普及。

附图说明

图1是本发明中系统结构示意图；

图2是本发明中抓取作业流程图；

图3是本发明中智能感知单元结构示意图图；

图4是本发明中智能感知单元定位原理图；

其中：1-移动平台，2-软体机械手，3-机械臂，4-嵌入式计算平台，5-电磁阀，6-电磁阀驱动器，7-逆变器，8-处理器，9-气泵，10-智能感知单元，11-单目相机，12-激光测距模块，13-云台。

具体实施方式

下面结合说明书附图对本发明中的技术方案做进一步的详细说明。

如图1-4所示，本发明提供一种移动机器人抓取作业系统，包括以下部分：

智能感知单元10，由基本感知单元、两轴云台13、处理器8和嵌入式计算平台4组成，所述基本感知单元由单目相机11与单线激光测距模块12组成，激光测距模块12由小型两轴云台13驱动；处理器8采用单片机，用于处理激光测距模块12信息、云台电机的控制以及物体三维坐标的计算；嵌入式计算平台4分别与单目相机11、处理器8连接，用于处理物体识别算法以及识别定位结果输出。

柔性抓取单元，所述柔性抓取单元包括机械臂3、流体驱动的软体机械手2、逆变器7、气泵9、电磁阀5、电磁阀驱动器6，软体机械手2由小型气泵9驱动，可以实现对食品、易碎物品等安全抓取，软体机械手2具有较强的适应性。气泵、电磁阀、机械手本体组成气动回路，逆变器将锂电池的电压升高到220v给气泵供电，气泵9作为气源来驱动软体机械手2工作，电磁阀驱动器6控制电磁阀5动作，电磁阀5的开合控制机械手的动作。在一定程度上可以不依赖于力反馈而进行安全抓取作业。

系统控制单元，包括移动平台1的控制器、柔性抓取单元的控制器和主控制器，主控制器即系统上位机，具体采用工控机，系统控制单元利用通讯线缆分别与智能感知单元10、柔性抓取单元以及移动平台1连接通讯，接收到智能感知单元10的感知信息后发送控制信号给移动平台1及柔性抓取单元完成相应的作业过程。

移动平台1，所述移动平台1作为整套系统的平台，除搭载了所有上述单元外还集成了电源模块，提供所有单元所需的电源需求，下方设有车轮，实现整套抓取作业系统作业过程中的移动环节。

具体作业过程包括以下步骤：

s1，指定系统要抓取的物体种类，将物体种类输入到系统控制单元中；

s2，系统自动搜寻待抓取物体并定位，若智能感知单元10在系统当前视野内未发现待抓取物体，系统控制单元将控制移动平台1进行旋转或移动等来调整系统视野，当智能感知单元10识别到待抓取物体后，开展三维定位工作，得到智能感知单元10坐标系下的物体三维坐标，识别与三维定位工作完成后通过通讯线缆将物体识别信息与三维坐标发送到系统控制单元；

s3，系统控制单元接收到物体识别信息与三维坐标后，将物体三维坐标转换为移动平台1坐标系下的三维坐标，根据移动平台1坐标系下的物体三维坐标来向移动平台1发送控制指令，使其移动到指定位置，即可以开展抓取作业的范围之内，此过程中系统控制单元始终与智能感知单元10保持通讯，实时更新物体三维坐标作为控制移动平台的反馈量；

s4，当移动平台1进入到抓取作业范围之内后，移动平台1停止移动保持静止状态，系统控制单元读取智能感知单元10发出的物体三维坐标并转换为机械臂3坐标系下的三维坐标，并向机械臂3发送控制指令控制其移动到待抓取物体的正上方，此时系统控制单元通过控制电磁阀5来使软体机械手张开，待软体机械手2张开后，机械臂3带动软体机械手2向下运动，当软体机械手2根据物体三维坐标移动到指定位置时，系统控制单元再次控制电磁阀5来使软体机械手2闭合，闭合后由机械臂3带动软体机械手2运动抓起物体；

s5，成功抓起物体后，系统控制单元控制移动平台1运动到指定位置后控制机械臂3与软体机械手2将物体摆放在相应位置，完成系统整个抓取作业过程。

上述步骤s2具体包括：

s21，嵌入式计算平台4根据单目相机11获取到的环境图像利用物体识别神经网络进行物体检测，若未检测到待抓取物体，则控制移动平台1旋转或移动来改变系统视野进行进一步检测，若检测出待抓取物体，则根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

s22，将s21获得的物体中心点在像素坐标系中的二维坐标转换为单目相机11坐标系下的三维坐标，式(1)为像素坐标系与单目相机11坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与单目相机11光心连线上，根据转换关系可以得到在任意给定zc时物体中心点在单目相机11坐标系下的坐标(xc,yc,zc)；

s23，根据s22中得到物体中心点在相机坐标系下的坐标(xc,yc,zc)，可求解出物体中心点在相机坐标系下与相机光心oc连线的俯仰角α和航向角β。

s24，根据s23求解出的俯仰角α和航向角β控制两轴云台13驱动单线激光测距模块12转动到相应角度对物体进行初步测距，测得距离为d；

s25，根据s24初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为单目相机11光心单线和激光测距模块12光心在yc轴上的间距；

s26，根据修正后的俯仰角α′重新调整激光测距模块12角度，精确测量物体中心点距离；

s27，根据s26中激光测距模块12测得的物体中心点距离和激光测距模块12在航向轴、俯仰轴实际转动角度，参考式(3)可计算转换得到物体中心点在激光测距模块12坐标系即系统世界坐标系下的三维坐标(xc,yc,zc)，实现物体的识别与定位。

上述步骤s3具体包括：

s31，移动平台1的控制器根据式(4)将接收到的物体在智能感知单元10坐标系下的三维坐标转换为移动平台1坐标系下的三维坐标，其中(xc,yc,zc)为物体在智能感知单元10坐标系下的三维坐标，(xp,yp,zp)为物体在移动平台1坐标系下的三维坐标，rpc为智能感知单元10坐标系与移动平台1坐标系的旋转矩阵，tpc为智能感知单元10坐标系与移动平台1坐标系的平移矩阵；

s32，以s31中的物体在移动平台1坐标系下的三维坐标(xp,yp,zp)作为移动平台1控制反馈量，控制输入为移动平台1目标坐标，设计了以速度作为输出量的pid控制器来控制移动平台1移动移动到指定位置；

上述步骤s4具体包括：

s41，柔性抓取单元的控制器根据式(5)将接收到的物体在智能感知单元10坐标系下的三维坐标转换为机械臂3坐标系下的三维坐标，其中(xc,yc,zc)为物体在智能感知单元10坐标系下的三维坐标，(xj,yj,zj)为物体在机械臂3坐标系下的三维坐标，rjc为智能感知单元10坐标系与机械臂3坐标系的旋转矩阵，tjc为智能感知单元10坐标系与机械臂3坐标系的平移矩阵；

s42，根据s41转换得到的物体在机械臂3坐标系下的三维坐标(xj,yj,zj)，由系统控制单元向机械臂3以及电磁阀5发送控制指令完成物体静态抓取工作。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。