一种果蔬采摘方法、采摘机器人与流程

本发明属于果蔬采摘，涉及一种果蔬采摘方法、采摘机器人。

背景技术：

1、近年来，随着我国社会农业的高速发展，果蔬种植规模越来越大，产量也逐年随之增长，但众所周知果蔬采摘具有季节性，并且果蔬的采摘期往往较短，这就造成果蔬成熟后采摘时，需要在短时间内完成采摘工作。但目前来讲，大部分果蔬的采摘还是以传统的人工采摘为主，机械化采摘程度不高，而传统人工采摘具有以下弊端：

2、一是成本高、效率低、劳动强度大：传统的果蔬采摘需要大量的人力投入，成本高昂，且人工采摘劳动强度大、效率低，难以满足市场需求；

3、二是劳动力短缺：随着我国城市化进程的加速，农村劳动力外流严重，导致农业生产劳动力短缺，影响果蔬采摘的效率和质量；

4、三是采摘过程中存在安全隐患：果蔬采摘需要攀爬、弯腰等动作，容易造成工人受伤，存在安全隐患。

5、为了解决传统人工采摘的上述弊端，国内外相关研发相继开发了多种果蔬采摘机器人，而采摘机器人的视觉识别和采摘方法是实现采摘作业成功完成的关键技术之一。但当前大多数采摘机器人只能用于采摘单一种类的果蔬，且不同种类的果蔬还需要配合不同的机械臂和末端采摘机构，这无疑增加了采摘机器人的加工成本。此外，不同种类的果蔬、甚至是同一种果蔬在不同的形状、不同位置的抓取点以及抓取力矩是不一样的，而现有的果蔬采摘方法并不能根据果蔬的种类、形状、位置等因素来确定具体的抓取点，从而影响采摘精度、降低采摘效率。

6、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种果蔬采摘方法、采摘机器人，可实现对不同种类果蔬的采摘，并根据果蔬种类及实际分布情况进行高效率、高精度的采摘。

2、为实现上述目的，本发明提供了如下技术方案：

3、一方面，本发明提供了一种果蔬采摘方法，包括以下步骤：

4、1)在采摘机器人行走过程中拍摄侧面图像，基于所述侧面图像进行果蔬植株识别；当在所述侧面图像识别出果树植株时，采摘机器人停止行走；

5、2)获取待采摘果蔬的图像；

6、3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序；

7、4)按照所述采摘路径和采摘顺序对不同目标采摘区域的待采摘果蔬进行采摘；

8、5)对采摘到的果蔬进行收集。

9、进一步，所述步骤2)中的图像包括2d图像及rgbd点云图像，方便构建2d-3d匹配关系。

10、进一步，所述步骤3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序，具体包括：

11、使用预先训练好的yolov5模型对所述2d图像进行检测，获得待采摘果蔬的种类和2d区域信息；根据所述2d区域信息确定目标采摘区域；

12、在确定的所述目标采摘区域内，按照确定的采摘路径及“由近及远→由上至下”的采摘顺序进行采摘。

13、进一步，所述步骤4)具体为：

14、根据所述2d区域信息及构建的2d-3d匹配关系，计算得到待采摘果蔬的3d表面信息，所述3d表面信息包含曲面及位姿角度信息；所述2d-3d匹配关系根据2d图像及rgbd点云图像构建得到；

15、基于所述待采摘果蔬的种类、根据所述待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，采摘机器人控制其末端采摘机构完成采摘动作。

16、另一方面，本发明还提供了一种应用上述部分或全部所述果蔬采摘方法的采摘机器人，包括视觉识别系统、控制系统、执行机构和收集机构，所述控制系统分别与视觉识别系统、执行机构和收集机构连接；

17、所述视觉识别系统，用于获取侧面图像和待采摘果蔬的图像；

18、所述控制系统，用于对所述视觉识别系统获取的图像进行处理，确定目标采摘区域及采摘顺序，并控制执行机构或收集机构执行相应动作；

19、所述执行机构，用于接收所述控制系统反馈的动作指令并执行相应动作；

20、所述收集机构，用于对采摘到的果蔬进行收集。

21、进一步，所述执行机构包括行走机构、机械臂和末端采摘机构，

22、所述行走机构根据接收到的控制系统反馈的动作指令并执行相应的前进、后退或转向动作，进而带动采摘机器人移动至确定的目标采摘区域；

23、所述机械臂安装在行走机构的底盘上，能够通过多自由度调节以满足不同位置果蔬的采摘需求；所述机械臂包括直线导轨，所述直线导轨上安装有第一驱动机构，所述第一驱动机构用于驱动设在直线导轨上的支撑组件沿所述直线导轨往复移动；所述支撑组件上活动设有伸缩臂，所述伸缩臂的底部安装有用于驱动其在支撑组件上移动的第二驱动机构，所述伸缩臂的移动方向与直线导轨相垂直；

24、所述末端采摘机构设置在机械臂的末端，用于实现果蔬与果梗的分离。

25、进一步，所述支撑组件包括支撑座和与所述支撑座连接、并位于直线导轨两侧的第一滚轮以及与所述支撑座连接、并位于伸缩臂两侧的第二滚轮；其中，

26、所述直线导轨同一侧的两端安装有用于限定支撑座移动极限位置的限位结构；

27、所述支撑座的底部与第一驱动机构固定连接，且所述支撑座的顶部安装有第二传动机构；

28、所述直线导轨的顶部两侧布设有用于对第一滚轮进行定位引导的第一轨道，且所述第一滚轮活动卡接在第一轨道上；

29、所述伸缩臂的底部两侧布设有用于对第二滚轮进行定位引导的第二轨道，且所述第二滚轮活动卡接在第二轨道上。

30、进一步，所述第一驱动机构和第二驱动机构均包括同步带轮传动结构和驱动电机；

31、所述同步带轮传动结构包括主动齿轮、从动齿轮和绕设于所述主动齿轮和所述从动齿轮上的同步齿形带，所述同步齿形带分别与主动齿轮和从动齿轮啮合，所述主动齿轮由驱动电机提供驱动力；

32、所述第一驱动机构的同步齿形带与支撑座的底部固定连接，所述第二驱动机构的同步齿形带与支撑座的顶部固定连接。

33、进一步，所述视觉识别系统包括分别与控制系统连接的导航相机、第一采摘相机和第二采摘相机；

34、所述导航相机安装在行走机构的前、后端，用于获取采摘机器人行进时周围的环境信息以保证行进安全；

35、所述第一采摘相机安装在机械臂上，用于获取采摘机器人行走过程中两侧待采摘果蔬的2d图像及rgbd点云图像；

36、所述第二采摘相机安装在末端采摘机构上，用于获取目标采摘区域内待采摘果蔬的图像。

37、进一步，所述末端采摘机构包括夹持部，第一驱动机构和第二驱动机构；所述第一驱动机构与所述夹持部连接，用以驱动所述夹持部进行旋转和/或伸缩运动；所述第二驱动机构与所述第一驱动机构连接，用以驱动所述第一驱动机构上下俯仰和/或左右摆动。

38、与现有技术相比，本发明提供的技术方案包括以下有益效果：

39、1.该果蔬采摘方法，能够根据待采摘果蔬的图像确定目标采摘区域及采摘顺序，并基于待采摘果蔬的种类、根据待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，采摘机器人控制其末端采摘机构完成采摘动作。该方法适用于采摘不同种类的果蔬，通用性强；还可根据果实种类及实际分布情况对果蔬进行采摘，采摘精度高、不伤果肉，有利于提高采摘效率和采摘果蔬的质量。

40、2.应用该果蔬采摘方法的采摘机器人，首先，控制系统对视觉识别系统获取的图像数据进行处理，确定目标采摘区域及采摘顺序；其次，控制行走机构将采摘机器人移至目标采摘区域；再次，按照指定的采摘顺序控制机械臂的移动方向及角度，以便在不损伤果蔬及其周围枝条的前提下，快速地将伸缩臂前端的末端采摘机构抵进待采摘果蔬位置附近；然后，根据待采摘果蔬的种类、待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，控制系统控制末端采摘机构采摘果蔬；最后，通过收集机构将采摘后的果蔬收集即可完成采摘作业。

41、本发明设计的机械臂结构，通过多自由度调节以满足不同位置果蔬的采摘需求。具体地讲，伸缩臂沿直线导轨往复移动，可用于调整末端采摘机构与目标果蔬在x轴方向的距离；伸缩臂沿支撑座往复伸缩移动(该移动方向与直线导轨垂直)，可用于调整末端采摘机构与目标果蔬在y轴方向的距离；直线导轨本身能够旋转，可用于调整末端采摘机构与目标果蔬在z轴方向的距离。故通过多自由度的机械臂协同可快速地将末端采摘机构送至待采摘果蔬位置附近，并在末端采摘机构抵进待采摘果蔬时，机械臂仅有伸缩臂相对果蔬植物运动，能够更好地从果蔬植物的空隙中进入，避免触碰甚至损坏临近果蔬及枝条。

42、本发明设计的末端采摘机构，所述第一驱动机构与所述夹持部连接，用以驱动所述夹持部进行旋转和/或伸缩运动；所述第二驱动机构与所述第一驱动机构连接，用以驱动所述第一驱动机构上下俯仰和/或左右摆动。相对于现有技术而言，该末端采摘机构能够小范围、小幅度地调整夹持部的角度，既能够避免误伤附近尚未成熟果蔬，又能够对小范围内的多个目标实施采摘，特别适用于采摘类似枣、樱桃、橘子等成簇生长的果蔬，有利于提高采摘效率。

43、综上，本发明提供的采摘机器人能够实现整个采摘过程的完全自主化作业，提升了采摘效率，解决了现有技术中采摘期短，采摘量大，工作强度高，需要大量劳动力完成采摘工作的缺陷。此外，该采摘机器人中的末端采摘机构与伸缩臂可拆卸连接，实际采摘时，可根据采摘果蔬对象的不同更换末端采摘机构或者夹持部，进一步满足多种不同类型果蔬的采摘需求。