一种柑橘采摘机器人系统及其控制方法与流程

本发明属于农业采摘机器人技术领域，具体涉及一种柑橘采摘机器人系统及其控制方法。

背景技术：

随着新型农业生产模式和自动化控制技术的快速发展，农业机器人将成为农业生产链中最重要的组成部分之一。其中，果实蔬菜是农业生产中不可或缺的，果蔬采集机器人在农业机器人中具有很大的发展潜力。果蔬的采摘是农业生产链中最耗时、费力的一个环节，具有采摘季节性强、劳动强度大、费用高等特点，通过降低采摘作业成本是农业增收的重要途径；目前，国内大多数果蔬采摘均采用人工完成，采摘费用占成本的50%-70%，研究和开发果蔬采摘机器人对于解放劳动力、提高生产效率、降低生产成本和保证果蔬的品质具有重要的意义。

在世界范围内，已经出现了多种果蔬采摘机器人，例如，西红柿采摘机器人、黄瓜采摘机器人、蘑菇采摘机器人、草莓采摘机器人和柑橘采摘机器人等。不同果蔬有不同的采摘特性，目前，柑橘采摘机器人存在以下不足：1、采摘机器人的导航性差；2、采摘不精确，耗时长；3、采摘不完全，需人工进行二次采摘。

技术实现要素：

针对现有技术存在的上述不足，本发明的目的是提供一种柑橘采摘机器人系统及其控制方法，解决果园内柑橘采摘机器人导航性差、采摘耗时长和采摘不完全等问题，具有良好的导航性、不遗漏采摘等优点。

为解决上述技术问题，本发明采用了如下的技术方案：

一种柑橘采摘机器人系统，包括采摘机器人和控制系统；采摘机器人包括履带式移动平台和固定设置在履带式移动平台上方的壳体；壳体上方固定设置有机械臂安装平台，机械臂安装平台上安装有机械臂；壳体上还设置有用于识别定位果实的双目镜头和用于识别导航路径的单目镜头；机械臂的采摘端设置有采摘机构，采摘机构包括剪切机构和夹持机构；壳体内设置有果篮放置腔；控制系统包括用于处理双目镜头和单目镜头拍摄图像的图像处理模块、用于控制履带式移动平台的移动平台控制模块、用于控制机械臂各关节的机械臂驱动控制模块、用于控制机械臂采摘机构的采摘机构驱动控制模块和中央处理器，中央处理器分别与图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块控制连接。

上述柑橘采摘机器人系统中，果篮放置腔中放置有果篮，当采摘机器人启动后，中央处理器将第一控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台进行移动，实现采摘机器人的移动；双目镜头会实时采集果实图像信息，并将采集的果实图像信息传输到图像处理模块，图像处理模块将处理后的果实图像信息传输到中央处理器进行分析，可以分析出果实的数量、果实的位置等信息；中央处理器将第二控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块控制机械臂进行移动；中央处理器将第三控制信号传输到采摘机构，控制剪切机构剪切果实，控制夹持机构将果实夹持住并控制机械臂移动，将果实放入果篮中；完成果实的采摘；最后控制采摘机器人返回停靠基地；该采摘机器人的整体操作简单，可精确采摘果实，采摘效率高。

上述柑橘采摘机器人系统的控制方法，包括以下步骤：

s1：首先，制作果园的导航地图，根据果园内果树栽种分布在导航地图内预设导航路径，在导航路径上设置连续的若干采摘点。作为优选方案，该步骤中导航路径的预设步骤如下：

s11：根据果园内果树栽种位置和导航地图确定可规划路径；

s12：根据可规划路径的道路宽度、道路长度、道路坡度和道路转角确定导航路径；

s13：根据采摘机器人机械臂的运动范围确定采摘范围，并依据采摘范围在导航路径上设置若干连续的采摘点；

导航地图为果园的栽种分布图，包括果树栽种区域和各栽种区域间的路径；根据路径情况来规划采摘机器人采摘时的导航路径；导航路径上各采摘点的采摘范围一般为圆形区域范围，以机械臂和外壳间的连接处为中心点，在中心点半径d范围即为采摘范围；实际设计中，根据机械臂的长度和大小尺寸设置采摘范围，采摘半径d一般在2~5米。

s2：启动采摘机器人，中央处理器将控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台开始移动；采摘机器人进入导航路径，并进入采摘点；采摘机器人到达采摘点后，履带式移动平台即停止移动，在该采摘点执行采摘作业。

s3：采摘机器人到达该采摘点后，通过双目镜头实时拍摄采摘点附近的待采摘图像信息，由图像处理模块对待采摘图像进行处理，并根据处理后的待采摘图像分析果实的位置，判断并统计处于采摘范围内的果实。作为优选方案，该步骤中，果实位置的判断步骤如下：

s31：通过双目镜头实时拍摄采摘点附近的待采摘图像信息，并将待采摘图像信息传输到图像处理模块；

s32：图像处理模块对待采摘图像信息进行处理，图像处理包括对图像滤波、增强、去噪、边缘处理等；

s33：中央处理器对处理后的待采摘图像信息进行分析，通过采摘机器人的拍摄位置、图像中果实的大小、图像中果实与树叶的位置关系来确定果实的位置，并判断果实是否处于该采摘点的采摘范围内。

s4：中央处理器针对处于采摘范围内的果实建立采摘任务表，并根据果实的位置规划执行每一个采摘任务时机械臂的采摘轨迹。

s5：在该采摘点，根据逆运动学算法，通过规划的采摘轨迹反推导出机械臂的运动轨迹；中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动并完成果实的采摘。作为优选方案，该步骤中，果实采摘的具体步骤如下：

s51：中央处理器根据规划的果实采摘轨迹，用逆运动学算法反推导出机械臂的运动轨迹；

s52：中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动，并判断采摘机构是否到达采摘位置，若采摘机构已到达采摘位置，则执行步骤s53；若采摘机构未到达采摘位置，则继续执行步骤s52完成修正；判断采摘机构是否达到采摘位置是以预先规划的采摘轨迹为基准，同时由中央处理器分析双目镜头实时拍摄的图像信息来配合修正机械臂的运动，确保采摘机构精确到达果实待采摘位置；

s53：中央处理器将控制信号传输到采摘机构驱动控制模块，采摘机构驱动控制模块驱动剪切机构执行剪切动作完成果实剪切，并控制夹持机构将果实放至果篮中。

s6：采摘该采摘点范围内的果实；中央处理器根据双目镜头的实时拍摄信息判断该采摘点的采摘任务是否完成，若该采摘点的采摘任务完成，执行步骤s7；若该采摘点的采摘任务未完成，则返回执行步骤s5；当拍摄的图像信息中没有检测到果实，则判定果实采摘任务已经完成。

s7：通过单目镜头拍摄该采摘点的路径信息，中央处理器根据路径信息和采摘机器人的定位信息确定采摘机器人在导航地图中的位置；将采摘机器人在导航地图中的位置与预设导航路径分析对比，判断采摘机器人是否走完导航路径；若采摘机器人还未走完导航路径，则执行步骤s8；若采摘机器人走完导航路径，则执行步骤s9。

s8：中央处理器控制采摘机器人进入下一个采摘点，返回执行步骤s3。

s9：控制采摘机器人返回停靠基地。

本发明提供的柑橘采摘机器人系统操作简单，由中央处理器预先规划采摘轨迹，通过逆运动学算法来精确控制采摘，采摘精度高，采摘效率高；提供的柑橘采摘机器人系统的控制方法，采摘机器人根据预设路径执行采摘，采摘机器人的导航性能好，可以解决采摘耗时的问题；通过在每一个采摘点处判断采摘任务是否完成，可以避免果实采摘遗漏，解决采摘不完全，需人工二次采摘的问题。

附图说明

图1为本发明柑橘采摘机器人系统及其控制方法的控制流程图；

图2为本发明柑橘采摘机器人系统及其控制方法的系统控制框图；

图3为图1步骤s1中导航路径的预设流程图；

图4为图1步骤s3中果实位置判断的判断流程图；

图5为图1步骤s5中果实采摘的具体采摘流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例1：

一种柑橘采摘机器人系统，包括采摘机器人和控制系统；采摘机器人包括履带式移动平台和固定设置在履带式移动平台上方的壳体；壳体上方固定设置有机械臂安装平台，机械臂安装平台上安装有机械臂；壳体上还设置有用于识别定位果实的双目镜头和用于识别导航路径的单目镜头；机械臂的采摘端设置有采摘机构，采摘机构包括剪切机构和夹持机构；壳体内设置有果篮放置腔；控制系统包括用于处理双目镜头和单目镜头拍摄图像的图像处理模块、用于控制履带式移动平台的移动平台控制模块、用于控制机械臂各关节的机械臂驱动控制模块、用于控制机械臂采摘机构的采摘机构驱动控制模块和中央处理器，中央处理器分别与图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块控制连接。

上述柑橘采摘机器人系统中，果篮放置腔中放置有果篮，当采摘机器人启动后，中央处理器将第一控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台进行移动，实现采摘机器人的移动；双目镜头会实时采集果实图像信息，并将采集的果实图像信息传输到图像处理模块，图像处理模块将处理后的果实图像信息传输到中央处理器进行分析，可以分析出果实的数量、果实的位置等信息；中央处理器将第二控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块控制机械臂进行移动；中央处理器将第三控制信号传输到采摘机构，控制剪切机构剪切果实，控制夹持机构将果实夹持住并控制机械臂移动，将果实放入果篮中；完成果实的采摘；最后控制采摘机器人返回停靠基地；该采摘机器人的整体操作简单，可精确采摘果实，采摘效率高；履带式移动平台和移动平台控制模块、机械臂各关节和机械臂驱动控制模块、机械臂采摘机构和采摘机构驱动控制模块间的连接方式均采用can总线。

在实际应用中，用做信息采集的双目镜头和单目镜头可以归纳为信息采集模块，信息采集模块还包括3d相机、rgb相机和各种传感器；双目镜头、单目镜头、3d相机和rgb相机作为图像信息采集模块；图像信息采集模块也可以用工业相机，工业相机通过vb设计中采集软件来完成图像的采集，图像信息采集模块为单帧采集，软触发模式，当系统完成上次图像处理并发出采集命令后，该模块才发生采集事件，将采集的图像固定存储在计算机中，并可供图像处理模块调用；图像处理模块的图像处理功能可以在matlab编写的.dll文件中实现，包括一些传统的图像处理算法，可以提取图像中的果园道路特征，根据果园道路特征和果园导航地图可以预设导航路径，通过vb/matlab混合编程接口将导航路径信息发送给中央处理器。

本实施例中，传感器包括测距传感器，通过测距传感器可以测量采摘机器人与周围环境中障碍物间的距离，障碍物可以是果树、大型杂草等，测距传感器可以设置在采摘机器人的前方和后方，也可以设置在机器人的两侧，并根据实时测量的距离对采摘机器人的移动方向和速度做调整；若将测距传感器设置在采摘机器人两侧，也可以通过测量采摘机器人与预设导航路径图像信息判断是否沿规划路径行驶，并及时作出修正调整，让采摘机器人保持在规划路径上行驶；测距传感器采用us-100超声波测距模块，并通过串口rs-232传输距离信息给中央处理模块。

本实施例中，采摘机器人系统还包括无线收发模块和运动决策模块。无线收发模块采用广泛应用于航模遥控的信号收发装置，控制端输出控制信号，由无线发射模块将控制信号发射到采摘机器人的无线接收模块，无线接收模块将控制信号转换为脉宽信号，并通过中央处理器控制图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块，从而控制采摘机器人的移动、机械臂运动和采摘等。

上述运动决策模块的控制模式包括手动遥控模式、自动导航模式和跟随模式；手动遥控模式可以直接通过无线收发模块控制采摘机器人的移动、方向、速度等；自动导航模式，通过双目镜头和单目镜头采集采摘机器人附近的图像，并将图像信息发送到中央处理器，中央处理器提取图像中的道路特征信息，将道路特征信息和预设导航路径分析对比，实时调整修正采摘机器人的运动，确保采摘机器人在导航路径上行驶；跟随模式，在采摘机器人的前端安装设置超声波测距传感器，将人或物体作为跟随目标，实时检测与人或物体间的距离，并将检测信息通过串口发送到中央处理模块，保持与跟随目标的间距，使得采摘机器人在跟随目标后行驶；运动决策模块即为上位机，可以对采摘机器人进行控制。

实施例2：

一种柑橘采摘机器人系统的控制方法，包括以下步骤：

s1：首先，制作果园的导航地图，根据果园内果树栽种分布在导航地图内预设导航路径，在导航路径上设置连续的若干采摘点。该步骤中，导航路径的预设步骤如下：

s11：根据果园内果树栽种位置和导航地图确定可规划路径；

s12：根据可规划路径的道路宽度、道路长度、道路坡度和道路转角确定导航路径；

s13：根据采摘机器人机械臂的运动范围确定采摘范围，并依据采摘范围在导航路径上设置若干连续的采摘点。

导航地图为果园的栽种分布图，包括果树栽种区域和各栽种区域间的路径；根据路径情况来规划采摘机器人采摘时的导航路径；导航路径上各采摘点的采摘范围一般为圆形区域范围，以机械臂和外壳间的连接处为中心点，在中心点半径d范围即为采摘范围；实际设计中，根据机械臂的长度和大小尺寸设置采摘范围，采摘半径d一般在2~5米。

s2：启动采摘机器人，中央处理器将控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台开始移动；采摘机器人进入导航路径，并进入采摘点；采摘机器人到达采摘点后，履带式移动平台即停止移动，在该采摘点执行采摘作业。

s3：采摘机器人到达该采摘点后，通过双目镜头实时拍摄采摘点附近的待采摘图像信息，由图像处理模块对待采摘图像进行处理，并根据处理后的待采摘图像分析果实的位置，判断并统计处于采摘范围内的果实。其中，果实位置的判断步骤如下：

s31：通过双目镜头实时拍摄采摘点附近的待采摘图像信息，并将待采摘图像信息传输到图像处理模块；

s32：图像处理模块对待采摘图像信息进行处理，图像处理包括对图像滤波、增强、去噪、边缘处理等；

s33：中央处理器对处理后的待采摘图像信息进行分析，通过采摘机器人的拍摄位置、图像中果实的大小、图像中果实与树叶的位置关系来确定果实的位置，并判断果实是否处于该采摘点的采摘范围内。

s4：中央处理器针对处于采摘范围内的果实建立采摘任务表，并根据果实的位置规划执行每一个采摘任务时机械臂的采摘轨迹。

s5：在该采摘点，根据逆运动学算法，通过规划的采摘轨迹反推导出机械臂的运动轨迹；中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动并完成果实的采摘。该步骤中，果实采摘的具体步骤如下：

s51：中央处理器根据规划的果实采摘轨迹，用逆运动学算法反推导出机械臂的运动轨迹；

s52：中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动，并判断采摘机构是否到达采摘位置，若采摘机构已到达采摘位置，则执行步骤s53；若采摘机构未到达采摘位置，则继续执行步骤s52完成修正；判断采摘机构是否达到采摘位置是以预先规划的采摘轨迹为基准，同时由中央处理器分析双目镜头实时拍摄的图像信息来配合修正机械臂的运动，确保采摘机构精确到达果实待采摘位置；

s53：中央处理器将控制信号传输到采摘机构驱动控制模块，采摘机构驱动控制模块驱动剪切机构执行剪切动作完成果实剪切，并控制夹持机构将果实放至果篮中。

s6：采摘该采摘点范围内的果实；中央处理器根据双目镜头的实时拍摄信息判断该采摘点的采摘任务是否完成，若该采摘点的采摘任务完成，执行步骤s7；若该采摘点的采摘任务未完成，则返回执行步骤s5；当拍摄的图像信息中没有检测到果实，则判定果实采摘任务已经完成。

s7：通过单目镜头拍摄该采摘点的路径信息，中央处理器根据路径信息和采摘机器人的定位信息确定采摘机器人在导航地图中的位置；将采摘机器人在导航地图中的位置与预设导航路径分析对比，判断采摘机器人是否走完导航路径；若采摘机器人还未走完导航路径，则执行步骤s8；若采摘机器人走完导航路径，则执行步骤s9。

s8：中央处理器控制采摘机器人进入下一个采摘点，返回执行步骤s3。

s9：控制采摘机器人返回停靠基地。

本实施例中，通过单目镜头来识别导航路径信息，通过将检测的导航路径信息与预设导航路径进行分析对比，实时调整采摘机器人的移动，来确保采摘机器人沿预设导航路径行驶；导航路径识别还可以采用其他方式：由单目镜头采集导航路径图像信息；对拍摄的导航路径图像进行分割、去噪；获取道路最大连通区域；获取导航离散点；获取导航路径信息，并传输到中央处理器。

本发明提供的柑橘采摘机器人系统操作简单，采摘精度高，采摘效率高；提供的柑橘采摘机器人系统的控制方法，采摘机器人根据预设路径执行采摘，采摘导航性能好；通过在每一采摘点循环判断采摘任务是否完成，可以避免果实采摘遗漏的问题。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明当中。