基于LeapMotion与机器视觉的人机协作采摘机器人及其控制方法与流程

本发明涉及现代农业设备技术领域，尤其涉及基于leapmotion与机器视觉的人机协作采摘机器人及其控制方法。

背景技术：

水果种植产业中，水果采摘收获大约占到整个产业工作量的50％，由于水果采摘过程中的复杂性，所以大部分水果产业区在水果采摘时依然以手工作业为主；对于某些种类的水果已经部分实现机械化采收作业，但是自动化水平仍然较低。智能化果实采摘是结合智能化和自动化技术实现果实的智能化采摘，从而降低人工劳动量，提高作业效率，其中果实的识别和定位主要以机器视觉技术为主。

在智能化果实采摘技术领域，申请号为cn201710857174.3的专利申请文件公开了一种基于机器视觉的智能水果采摘机器人，其包括行走机构、采摘机械手、视觉系统、控制系统、电源系统，控制系统分别与行走机构、采摘机械手、视觉系统、电源系统连接，控制系统、电源系统与行走机构固定连接，采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，视觉系统的视觉控制模块与控制系统集成一体并与视觉传感器信号连接，视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器传送来的图像进行采摘目标定位识别，视觉控制模块将采摘目标定位信息传给控制系统，控制系统控制行走机构移动和/或机械手摘取水果并放入水果收集装置。

上述专利根据视觉系统的水果定位信息，自动控制行走机构调整位置及采摘机械手的采摘，虽然实现了水果的智能化采摘，但是还存在以下问题：由于果树上果实生长的随机性和复杂性，即果实可能单个结果，也可能成簇结果，根据上述专利的机器视觉识别算法还难以区分在叶片遮挡果实、枝条遮挡果实、以及果实间相互遮挡或重叠等复杂背景下的果实。

技术实现要素：

有鉴于此，本发明的目的是提供基于leapmotion与机器视觉的人机协作采摘机器人及其控制方法，能够利用人优秀的视觉系统从复杂背景环境下辨认采摘对象，并通过非接触式体感传感器远程控制采摘机器人运动对果实进行采摘。

本发明通过以下技术手段解决上述技术问题：

基于leapmotion与机器视觉的人机协作采摘机器人，包括行走机构、采摘机械臂，所述行走机构上固定安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，其中还包括远程操控系统，所述远程操控系统包括电脑和leapmotion体感传感器，所述leapmotion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。通过leapmotion体感传感器对手掌坐标信息、手部俯仰角信息、手侧倾角信息、点击手势、水平滑动手势、点击屏幕手势等信息进行采集，手掌坐标信息是在leapmotion体感传感器下的坐标系，根据采摘机械臂的运动范围，通过比例放大的方法进行两个坐标系的转换，将手掌在leapmotion体感传感器上的坐标转化为在机器人采摘机械手夹持中点在采摘机械臂平台上的坐标，通过采摘机械臂逆运动学求解出采摘机械臂的旋转角度。根据手俯仰角等值相应控制采摘机械手的转角，根据手侧倾角信息等值相应控制采摘机械手的转角。点击手势控制采摘和卸果一体化作业，水平滑动手势控制平台车向前运动，以调整相机视野种的果实数量和位置，点击屏幕手势控制leapmotion体感传感器开始采集手掌坐标信息，并开启采摘机械臂控制。

进一步，所述采摘机械臂包括旋转平台、大臂和小臂，所述旋转平台上固定连接有肩关节电机，所述肩关节电机与大臂的铰接相连，所述小臂上固定连接有肘关节电机，所述大臂远离旋转平台的一端与肘关节电机铰接相连，所述肩关节电机和肘关节电机均与机器人控制器电连接。旋转平台可以使得采摘机械臂围绕行走机构旋转，大臂、小臂、肩关节电机以及肘关节电机的设置，可以使得采摘机械臂对采摘机械手进行高低和远近距离的调节，扩大采摘机械手的采摘作业范围。

进一步，所述旋转平台包括基座上板和基座下板，所述基座下板固定连接在行走机构上，所述基座上板与基座下板之间固定连接有支撑柱，所述基座下板上固定安装有转动电机，所述基座上板上转动连接有转动平台，所述转动电机的输出轴穿过基座上板与转动平台固定连接，所述转动电机的输出轴与基座上板滑动连接，所述肩关节电机固定安装在转动平台上，所述转动电机与机器人控制器电连接。基座上板、基座下板和支撑柱用于支撑采摘机械臂，转动电机用于带动转动平台进行转动，进而带动采摘机械臂进行360°的旋转。

进一步，所述采摘机械手包括安装支架，所述小臂远离大臂的一端固定连接有腕关节电机，所述安装支架的一侧固定连接有腕连接板，所述安装支架的另一侧固定连接有夹持机械手，所述腕连接板与腕关节电机铰接相连；所述安装支架上固定连接有相机安装板，所述相机安装在相机安装板上，所述腕关节电机与机器人控制器电连接。在采摘时，夹持机械手用于夹持水果，腕关节电机可以进一步的调整夹持机械手与果实之间的位置。

进一步，所述腕连接板上固定安装有腕转动电机，所述腕转动电机的输出轴与安装支架固定连接，所述腕转动电机与机器人控制器电连接。通过腕转动电机的设置，可以使得采摘机械手进行旋转倾斜，如此，就可以适用不同角度的水果采摘。

进一步，所述夹持机械手上方的安装支架上固定安装有切割电机，切割电机的输出轴固定连接有连接块，所述连接块位于切割电机与夹持机械手之间，所述连接块上固定有切割刀，所述切割电机与机器人控制器电连接。在采摘如柑橘类的水果时，一般是通过切断果实的果梗的方式进行采摘，本发明在夹持机械手上方设置切割电机，切割电机带动切割刀的旋转，进而将果梗进行切断，因此，本发明可以适应采摘更多品种的水果。

进一步，所述夹持机械手包括连杆、第一夹爪和第二夹爪，所述连杆固定连接在安装支架上，所述第一夹爪和第二夹爪均滑动连接在连杆上，所述连杆上固定连接有机械手驱动电机，所述机械手驱动电机与机器人控制器电连接。在夹持和卸果时，机械手驱动电机带动连杆运动，连杆带动第一夹爪和第二夹爪在连杆上左右运动，进而控制夹持机械手的打开和关闭。

进一步，所述相机安装板上设有环形滑槽和环形安装孔，所述相机上固定有相机固定板，所述相机固定板与环形滑槽和环形安装孔之间连接有紧固螺钉。在使用时，松开紧固螺钉，可使相机绕环形中心孔旋转，从而可调整相机在地面的视野。

进一步，所述行走机构为履带式作业平台车。行走机构采用履带式的作业平台车，使得机器人在山区、丘陵等凹凸不平的复杂地况下的作业能力大大提高。

所述采摘机器人的控制方法，包括以下步骤，

s1、相机对果树图片进行实时采集并对果实进行识别和处理，leapmotion体感传感器识别手掌手势进行履带式作业平台车位置调节；

s2、电脑对leapmotion体感传感器上手掌坐标和手掌手势信息进行采集，通过机械臂逆运动学求解出采摘机械臂转动电机、肩关节电机、肘关节电机、腕关节电机、腕转动电机的旋转角度；

s3、采摘机械臂运动，相机对当前视野果实进行模板匹配，采摘机械手的夹持中心点坐标与果实中心点坐标重合，采摘机械手对果实进行采摘；

s4、采摘机械臂控制采摘机械手从当前摘果位置运动到采摘收集筐位置，卸果。

本发明的有益效果：

(1)本发明通过人机协作，利用人优秀的视觉系统和机器连续作业能力，可解决遮挡、重叠等复杂背景环境下果实难以识别的问题；

(2)本发明采用leapmotion非接触式机器人控制方式，降低多运动方式、多自由度机器人控制的复杂度，通过小空间手部移动和手势便可控制采摘机械人完成一套采摘作业；

(3)本发明采用leapmotion控制与机器视觉自动识别相结合的方式，实现目标定位准确后的自动化采摘，从而可提高人机协作的智能化程度，降低人为后期重复采摘动作的干预；

(4)本发明利用相机对选择目标进行实时匹配处理，当匹配目标确定为果实时可实现自动采摘，并完成从人工辅助到自动采摘，如此可大幅降低机器视觉对整幅图像的处理，可降低视觉算法的复杂度，提高处理效率；

(5)本发明通过leapmotion和机器视觉实现人工远程检测和操控，无需现场作业，减轻水果采摘的工作强度；

(6)本发明不仅适用于普通水果采摘，并且还适用于通过割断果梗进行采摘的水果，适用范围更广。

附图说明

图1是本发明基于leapmotion与机器视觉的人机协作采摘机器人示意图；

图2是图1中采摘机械臂和采摘机械手局部放大图；

图3是人机协作采摘机器人初始化状态位置(准备采摘)图；

图4是人机协作采摘机器人卸果状态位置图；

图5是人机协作采摘机器人的3种控制手势图；

图6是手部姿态与机器人运动控制对应关系图；

图7是人机协作采摘机器人运动控制流程图；

其中，1、电脑；2、leapmotion体感传感器；3、机器人控制器；4、履带式作业平台车；5、采摘收集筐；6、采摘机械臂；7、小臂；8、肘关节电机；9、大臂；10、肩关节电机；11、转动平台；12、基座上板；13、转动电机；14、基座下板；15、相机；16、相机安装板；17、切割电机；18、切割刀；19、连接块；20、夹持机械手；21、机械手驱动电机；22、腕转动电机；23、腕连接板；24、腕关节电机；25、支撑柱；26、连杆；27、第一夹爪；28、第二夹爪；29、安装支架；30、环形安装孔、31、相机固定板。

具体实施方式

以下将结合附图对本发明进行详细说明：

如图1-7所示：

基于leapmotion与机器视觉的人机协作采摘机器人，包括履带式作业平台车4、远程操控系统和采摘机械臂6，履带式作业平台车4上通过紧固螺栓安装有发电机(未标出)、采摘收集筐5和机器人控制器3，发电机与机器人控制器3电连接。

远程操控系统包括电脑1和leapmotion体感传感器2，leapmotion体感传感器2与电脑1通过数据线通讯连接，电脑1与机器人控制器3通过gprs通讯连接。

采摘机械臂6包括基座上板12、基座下板14、大臂9和小臂7，基座下板14通过紧固螺栓固定连接在履带式作业平台车4上，基座上板12与基座下板14之间焊接有支撑柱25，基座下板14上通过紧固螺栓固定安装有转动电机13，基座上板12上转动连接有转动平台11，转动电机13的输出轴穿过基座上板12与转动平台11通过平键固定连接，转动电机13的输出轴与基座上板12滑动连接，转动平台11上通过紧固螺栓固定安装有肩关节电机10，肩关节电机10与大臂9的下端铰接相连，小臂7上通过紧固螺栓固定连接有肘关节电机8，大臂9的上端与小臂7上的肘关节电机8铰接相连，小臂7的上端通过紧固螺栓固定连接有腕关节电机24，腕关节电机24上铰接有腕连接板23，腕连接板23上通过紧固螺栓固定连接有腕转动电机22，腕转动电机22的输出轴穿过腕连接板23通过紧固螺栓固定连接有安装支架29。

安装支架29上固定连接有连杆26，连杆26上滑动连接有第一夹爪27和第二夹爪28，连杆26下部通过紧固螺栓固定连接有机械手驱动电机21，连杆26上方的安装支架29上固定安装有切割电机17，切割电机17的输出轴通过紧固螺栓固定连接有连接块19，连接块19的两侧均使用螺钉固定有切割刀18。

切割电机17上方的安装支架29上一体成型有相机安装板16，相机安装板16上设有环形滑槽和环形安装孔30，相机15上固定有相机固定板31，相机15与机器人控制器3通讯连接，相机固定板31与环形滑槽和环形安装孔30之间连接有紧固螺钉。肩关节电机10、肘关节电机8、转动电机13、腕关节电机24、腕转动电机22、切割电机17、机械手驱动电机21均与机器人控制器3电连接。

本发明的控制方法及水果采摘过程如下：

通过leapmotion体感传感器2对手掌坐标信息、手部俯仰角信息、手侧倾角信息、点击手势、水平滑动手势、点击屏幕手势等信息进行采集，手掌坐标信息是在leapmotion体感传感器2下的坐标系，根据采摘机械臂6的运动范围，通过比例放大的方法进行两个坐标系的转换，将手掌在leapmotion体感传感器2上的坐标转化为在机器人采摘机械手夹持中点在采摘机械臂6平台上的坐标，通过机械臂逆运动学求解出机械臂转动电机13、肩关节电机10和肘关节电机8的旋转角度。根据手俯仰角等值相应控制机械手腕关节电机24的转角，根据手侧倾角信息等值相应控制机械手腕转动电机22的转角。点击手势控制采摘和卸果一体化作业，水平滑动手势控制平台车向前运动，以调整相机15视野中的果实数量和位置，点击屏幕手势控制leapmotion体感传感器2开始采集手掌坐标信息，并开启采摘机械臂6控制。

各环节的控制流程如图7所示，在准备采摘阶段，即履带式作业平台车4还未运动到指定位置时，履带式作业平台车4沿果园行间向前运动，同时采摘机械臂6处于初始位置，如图3所示，机械臂面对果树，并与履带式作业平台车4运动方向垂直，相机15对果树图片进行实时采集并对果实进行识别和处理，当果实目标像素数量大于第一阈值时，说明相机15视野内有足够数量的果实，可以实施采摘作业，此时履带式作业平台车4停车，并开启手势检测，操纵员根据相机15传到电脑1上的实时画面来判断履带式作业平台车4停止的位置是否可以作为采摘点。

当需要对采摘机器人采摘位置向前调整时，操纵员采用水平滑动手势，如图5a，控制机器人向前运动相应的距离。当操纵员认为此点可进行采摘时，实施点击屏幕手势，如图5c，此时电脑1开始采集leapmotion体感传感器2上手掌坐标信息，并通过坐标转化和机械臂逆运动学计算，换算成机械臂转动电机13、肩关节电机10和肘关节电机8的旋转角度，将角度信息发送给机器人控制器3，机器人控制器3控制转动电机13、肩关节电机10和肘关节电机8相应运动。

当采摘机械手接近作物的同时，相机15对当前视野果实进行模板匹配，当匹配度大于匹配阈值，说明相机15可完全识别出当前采摘对象，然后计算果实坐标，并自动控制采摘机械手对准果实，同时关闭leapmotion体感传感器2对手掌信息采集，以及对人为对采摘机械臂6运动控制，当采摘机械手的夹持中心点坐标与果实中心点坐标重合，说明采摘机械手运动到位，此时可进行采摘和卸果动作，采摘和卸果动作的顺序为机械手驱动电机21旋转，第一夹爪27和第二夹爪28闭合，包裹住果实，切割电机17带动切割刀18旋转，割断果梗。

采摘完后，采摘机械臂6控制采摘机械手从当前摘果位置运动到采摘收集筐5位置，如图4所示，机械手驱动电机21旋转，第一夹爪27和第二夹爪28打开，果实掉入采摘收集筐5内，最后采摘机械臂6回到初始位置，该过程完成对一颗果实的采摘，后续采摘均依照该采摘过程，循环单颗采摘。在采摘时，也可以在第一夹爪27和第二夹爪28的内侧均设海绵层，可以避免夹上果实外皮。

其中，采摘过程中会出现相机15识别果实的匹配度始终小于匹配阈值的情况，此时完全可通过人为手部移动操纵将采摘机械手的夹持中心点与果实中心基本重合，然后通过点击手势，如图5b所示，发出果实采摘命令，实现自动采摘和卸果，同时关闭leapmotion体感传感器2对手掌信息采集，以及对采摘机械臂6运动控制。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。