一种基于近景深度传感器的机器人实时逼近定位采摘方法与流程

本发明涉及农业机器人领域，特别涉及一种基于近景深度传感器的机器人实时逼近定位采摘方法。

背景技术：

目前机器人采摘作业过程中常用的手眼协调方法具有明显不足：

（1）通常由视觉系统先完成对果实的识别和定位，进而引导机械臂和末端执行器趋近被定位的目标果实并完成摘取。远景视觉系统在较远位置实施探测，造成视场范围内对象信息过多，处理过程过于复杂，且定位精度受到影响；视觉系统的识别定位和机械系统的运动执行分别顺序间歇进行，存在“果实识别—果实定位—坐标信息传递—机械臂运动规划—机械臂逼近—末端执行器摘取”的复杂环节，作业效率受到严重影响。

（2）部分由固定于机器人本体的远景相机和安装于末端执行器内的近景相机结合，实现对目标果实的识别定位和引导机械手完成采摘作业。通常先由远景相机探测植株方位并引导机械手伸展靠近植株，进而利用安装于末端执行器内的相机进行近景的识别定位。其过程不仅存在远、近景相机的匹配问题，并需由远景相机、机械手和近景相机的多环节间歇性动作来实现。同时，需要利用机械手携带近景相机相对目标对象的横向运动来实现获取目标对象的空间位置，定位过程繁琐耗时，更无法保证作业效率。

技术实现要素：

本发明的目的在于提供一种基于近景深度传感器的机器人实时逼近定位采摘方法，实现采摘机器人作业中的实时连续定位采摘作业。

为了解决以上技术问题，本发明采用的具体技术方案如下：

一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于：采摘机器人的机械臂（2）、末端执行器（1）和近景深度传感器（3）从距离植株的冠层（4）较远位置开始趋近果实（6）并完成采摘的连续动作行程分为树冠搜索区间（s1）、子区域定位区间（s2）、子区域趋近动作区间(s3)、单果识别定位区间（s4）、果实摘取动作区间（s5）。

一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于包括以下步骤：

步骤一，树冠搜索区间（s1）：采摘机器人的机械臂（2）腕部转动使近景深度传感器（3）获得整个冠层（4）的深度信息并由深度信息确定冠层（4）的整个轮廓的相对方位；

步骤二，子区域定位区间（s2）：此时机械臂（2）开始带动末端执行器（1）和近景深度传感器（3）向整个冠层（4）的方位迫近，在机械臂（2）运动的同时，采摘机器人的控制系统根据近景识别的需要，利用近景深度传感器（3）获得的整个冠层（4）的深度信息将冠层4划分为多个子区域5并确定实施采摘的子区域5的顺序；

步骤三，子区域趋近动作区间（s3）：在趋近动作切换深度阈值[d1]位置，根据首先实施采摘作业的子区域（5）的方位，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施采摘作业的子区域（5）迫近；

步骤四，单果识别定位区间（s4）：当近景深度传感器（3）到达近景识别定位深度阈值[d2]位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）继续向首先实施采摘作业的子区域（5）迫近的同时，近景深度传感器（3）对首先实施采摘作业的子区域（5）进行各果实（6）的近景识别定位，并确定进行果实（6）的摘取顺序；

步骤五，果实摘取动作区间（s5）：在摘取动作切换阈值[d3]位置，根据首先实施摘取作业的果实（6）空间位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施摘取作业的果实（6）迫近并到达后完成摘取；

步骤六，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）按果实（6）的摘取顺序完成对首先实施采摘作业的子区域（5）内其它果实（6）的摘取；

步骤七，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）根据子区域定位区间（s2）中确定的实施采摘的子区域（5）的顺序和各子区域（5）方位，将末端执行器（1）和近景深度传感器（3）定位于下一子区域（5）的定位深度阈值[d2]处，并重复步骤五、步骤六，完成对该子区域（5）内果实（6）的识别定位和摘取；

步骤八，重复步骤七，直至该植株冠层（4）内的果实（6）采摘完成。

所述近景深度传感器为realsense等能够在冠层附近时获得冠层轮廓、并在人工采摘的视觉距离范围内对果实进行识别定位的深度传感器。

本发明具有有益效果。本发明通过变机器人采摘中视觉系统的识别定位和机械系统的运动执行的多个环节间歇性流程为视觉系统与机械系统的连续并行流程，从而能够将远景轮廓导引和分区域近景识别定位结合，实现远近景的快速连续逐次迫近，大大提高了机器人采摘作业的实时性和精度。

附图说明

图1为本发明基于近景深度传感器的机器人实时逼近定位采摘过程示意图。

图2为本发明冠层的子区域划分示意图。

图3为本发明实时连续逼近的近景深度传感器与机械臂并行时序示意图。

图中：1.末端执行器，2.机械臂，3.近景深度传感器，4.树冠，5.子区域，6.果实，[d1].趋近动作切换深度阈值，[d2].近景识别定位深度阈值，[d3].摘取动作切换深度阈值，d1.树冠搜索区间,s2.子区域定位区间，s3.子区域趋近动作区间，s4.单果识别定位区间，s5.果实摘取动作区间。

具体实施方式

如图1所示，近景深度传感器3安装在机械臂2的腕部。采摘机器人作业时，采摘机器人的底盘行驶到植株附近并停止前进，采摘机器人开始对该植株的采摘作业。采摘机器人的机械臂2、末端执行器1和近景深度传感器3从距离植株的冠层4较远位置开始趋近果实6并完成采摘的连续动作行程分为树冠搜索区间s1、子区域定位区间s2、子区域趋近动作区间s3、单果识别定位区间s4、果实摘取动作区间s5。如图1和图3所示，由远及近完成采摘的过程如下：

（1）树冠搜索区间s1：采摘机器人的机械臂2腕部转动使近景深度传感器3获得整个冠层4的深度信息并由深度信息确定冠层4的整个轮廓的相对方位；

（2）子区域定位区间s2：此时机械臂2开始带动末端执行器1和近景深度传感器3向整个冠层4的方位迫近，在机械臂2运动的同时，采摘机器人的控制系统根据近景识别的需要，利用近景深度传感器3获得的整个冠层4的深度信息将冠层4划分为多个子区域5并确定实施采摘的子区域5的顺序，如图2所示；

（3）子区域趋近动作区间s3：在趋近动作切换深度阈值[d1]位置，根据首先实施采摘作业的子区域5的方位，机械臂2带动末端执行器1和近景深度传感器3切换动作向首先实施采摘作业的子区域5迫近；

（4）单果识别定位区间s4：当近景深度传感器3到达近景识别定位深度阈值[d2]位置，机械臂2带动末端执行器1和近景深度传感器3继续向首先实施采摘作业的子区域5迫近的同时，近景深度传感器3对首先实施采摘作业的子区域5进行各果实6的近景识别定位，并确定进行果实6的摘取顺序；

（5）果实摘取动作区间s5：在摘取动作切换阈值[d3]位置，根据首先实施摘取作业的果实6空间位置，机械臂2带动末端执行器1和近景深度传感器3切换动作向首先实施摘取作业的果实6迫近并到达后完成摘取；

（6）机械臂2继续带动末端执行器1和近景深度传感器3按果实6的摘取顺序完成对首先实施采摘作业的子区域5内其它果实6的摘取；

（7）机械臂2继续带动末端执行器1和近景深度传感器3根据子区域定位区间s2中确定的实施采摘的子区域5的顺序和各子区域5方位，将末端执行器1和近景深度传感器3定位于下一子区域5的定位深度阈值[d2]处，并重复步骤（5）、（6），完成对该子区域5内果实6的识别定位和摘取；

（8）重复步骤（7），直至该植株冠层4内的果实6采摘完成。