基于视觉导航的采摘机器人及控制方法与流程

本发明涉及农作物采摘的技术领域，尤其是指一种基于视觉导航的采摘机器人及控制方法。

背景技术：

现有农作物的采摘主要通过人工完成，如枸杞是一种药食同源的植物，具有很高的药用价值和经济价值。目前枸杞采摘主要依靠人工采收，由于枸杞枝条上有许多棘刺，在进行人工采收时容易划伤手，而且效率低，因此制约了枸杞产业的发展。

为了克服上述问题，现有通常利用机械器件进行采收，具有自主导航技术的机械器件对枸杞的采摘智能化具有重要意义，但是现有的对农田作业机械的自主导航定位研究主要集中在gps和机器视觉导航这两种方式上，而视觉导航具有灵活性好、成本低、精度高、抗噪声能力强等特点，有利于技术的推广应用。由于枸杞采收机器人工作在非结构环境，受自然光照、生物多样性等不确定因素的影响，如何利用机器视觉技术检测导航信息成为难点。目前农机视觉导航研究大多是针对农田中的行播作物，因其具有明显的垄沟特点，为视觉系统提供了较好的识别依据。关于果园、林间等相对高大作物的视觉导航研究和报道相对少些，在这些环境中，受树干空间排列随机，大小形态各异，目标背景差异不明显等影响，增加了导航的难度。

技术实现要素：

为此，本发明所要解决的技术问题在于克服现有技术中导航精度低、且识别速度慢的问题，从而提供一种导航精度高、且识别速度快的基于视觉导航的采摘机器人及控制方法。

为解决上述技术问题，本发明的一种基于视觉导航的采摘机器人，包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。

在本发明的一个实施例中，所述图像处理模块包括：图像灰度化处理模块、图像二值化及去噪模块、特征点提取与导航基准线生成模块、图像感兴趣区域信息提取模块，其中所述图像灰度化处理模块与所述工控机相连，所述图像灰度化处理模块通过所述图像二值化及去噪模块与所述特征点提取与导航基准线生成模块相连，所述特征点提取与导航基准线生成模块与所述图像感兴趣区域信息提取模块相连。

在本发明的一个实施例中，所述图像二值化及去噪模块利用最大熵阈值方法分割图像，包括用指定像素的结构元素进行形态学开运算，再对图像中所有阈值面积大于设定值的轮廓进行标记，作为下一步轮廓提取的对象，同时将小于所述阈值的斑块噪声去除。

在本发明的一个实施例中，所述特征点提取与导航基准线生成模块中，基于最小正外接矩形的特征点提取方法对所述提取的阈值面积大于设定值的轮廓绘制出最小正外接矩形，计算出最小正外接矩形底边中点的坐标，中点的坐标即为树干与地面的交点，提取作业侧的特征点利用最小二乘法即可拟合出导航基准线。

在本发明的一个实施例中，所述图像感兴趣区域信息提取模块中，采用动态感兴趣区域对单侧树干进行实时跟踪，包括程序开始时对感兴趣区域位置进行初始化，使感兴趣区域中心线位置与图像中心线位置重合，设定多个初始参数:图像中点横坐标、导航线斜率、导航线与x轴截距，在处理第一帧图像时，将树干中点横坐标小于所述图像中点横坐标的树干坐标放到同一个数组中，生成导航线方程。

在本发明的一个实施例中，所述模糊控制器采用双输入单输出的形式，输入量为所述采摘机器人的横向偏差和偏角，输出量为所述采摘机器人的转向时间，对所述输入量和输出量进行模糊化，根据所述采摘机器人在田间相对树干的位置偏差，设定所述横向偏差的范围和偏角的范围，其中所述横向偏差、偏角被划分成多个模糊子集，所述输出量是对所述采摘机器人的转向方向和程度的控制，同样划分为多个模糊子集。

在本发明的一个实施例中，所述采摘机器人包括采收末端，所述采收末端包括固定树干枝条的第一手指以及带动枝条来回振动的第二手指。

在本发明的一个实施例中，所述第二手指通过曲柄摇杆装置与动力装置相连。

在本发明的一个实施例中，所述采收末端固定在移动模块上，所述移动模块包括与所述采收末端连接的滑块，所述滑块可滑动的设置在第一轨道上，所述第一轨道可滑动的设置在第二导轨上，所述第一轨道的延伸方向与所述第二轨道的延伸方向相互垂直。

在本发明的一个实施例中，所述采摘机器人包括第一转向动力装置、第一钢丝绳、第一转向离合器以及第二转向动力装置、第二钢丝绳、第二右转向离合器，其中所述第一转向动力装置通过所述第一钢丝绳与所述第一转向离合器的第一拨叉相连，所述第二转向动力装置通过所述第二钢丝绳与所述第二转向离合器的第二拨叉相连，所述第一拨叉和所述第二拨叉通过伸缩件相连。

在本发明的一个实施例中，所述采摘机器人包括履带式底盘车，所述履带式底盘车上设有相机框架，所述摄像头安放在所述相机框架上。

本发明还提供了一种基于视觉导航的采摘机器人的控制方法，包括如下步骤：

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的基于视觉导航的采摘机器人及控制方法，包括实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；利用所述工控机对接收到的图像数据信息进行图像处理；计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。本发明具有精度高，识别速率快，鲁棒性强等特点；而且视觉导航模块成本低，可移植性强；另外，底盘车转向相应速度快，控制方法简单实用；再者，结构简单、操作方便、成本低廉、使用寿命长。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明基于视觉导航的采摘机器人的组成示意图；

图2(a)-图2(d)是本发明利用图像处理模块处理图像时的各个示意图；

图3是本发明感兴趣区域的提取示意图；

图4本发明基于视觉导航的采摘机器人的立体图；

图5是本发明采收末端的示意图；

图6是本发明基于视觉导航的采摘机器人的仰视图。

说明书附图标记说明：10-采收末端，11-第一手指，12-第二手指，13-曲柄摇杆装置，14-动力装置，20-移动模块，21-滑块，22-第一轨道，23-第二轨道，31a-第一转向动力装置，31b-第二转向动力装置，32a-第一钢丝绳，32b-第二钢丝绳，33a-第一拨叉，33b-第二拨叉，34-伸缩件，35-机架，40-履带式底盘车，41-相机框架，42-摄像头。

具体实施方式

实施例一

如图1所示，本实施例提供一种基于视觉导航的采摘机器人，包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。

本实施例所述基于视觉导航的采摘机器人，包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机，从而有利于确定所述树干的位置；图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理，从而有利于后续进行计算；计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间，从而可以实现所述采摘机器人的路径跟踪；执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走，本发明不但导航精度高，而且识别速度快，鲁棒性强。

所述图像处理模块包括：图像灰度化处理模块、图像二值化及去噪模块、特征点提取与导航基准线生成模块、图像感兴趣区域信息提取模块，其中所述图像灰度化处理模块与所述工控机相连，利用所述工控机对接收到的图像数据信息进行图像灰度化处理，从而可以有效提取出树干特征，所述图像灰度化处理模块通过所述图像二值化及去噪模块与所述特征点提取与导航基准线生成模块相连，所述特征点提取与导航基准线生成模块与所述图像感兴趣区域信息提取模块相连。

所述图像灰度化处理模块中，可以有效提取出树干特征的，其中所述树干特征的灰度化公式为：

其中，r、g、b分别为原始彩色图像rgb彩色通道灰度值，如图2(a)。

所述图像二值化及去噪模块利用最大熵阈值方法分割图像，包括用指定像素的结构元素进行形态学开运算，再对图像中所有阈值面积大于设定值的轮廓进行标记，作为下一步轮廓提取的对象，同时将小于所述阈值的斑块噪声去除。具体地，如图2(b)所示，由于二值化后的图像仍有少量噪声，首先用5pixel×1pixel的结构元素进行形态学开运算，再对图像中所有阈值面积大于30的轮廓进行标记，作为下一步轮廓提取的对象，同时将小于此阈值的斑块噪声去除，处理后的结果如图2(c)所示，斑块噪声会得到消除，至此，剩下的每一个区域代表一个独立的枸杞树干。

所述特征点提取与导航基准线生成模块中，基于最小正外接矩形的特征点提取方法对所述提取的阈值面积大于设定值的轮廓绘制出最小正外接矩形，计算出最小正外接矩形底边中点的坐标，中点的坐标即为树干与地面的交点，提取作业侧的特征点利用最小二乘法即可拟合出导航基准线。具体地，基于最小正外接矩形的特征点提取方法对上文提取的阈值面积大于30的轮廓绘制出最小正外接矩形，计算出最小正外接矩形底边中点的坐标p，中点坐标p即为枸杞树干与地面的交点，提取作业侧的特征点利用最小二乘法即可拟合出导航线，结果如图2(d)所示。

所述图像感兴趣区域信息提取模块中，采用动态感兴趣区域对单侧树干进行实时跟踪，包括程序开始时对感兴趣区域位置进行初始化，使感兴趣区域中心线位置与图像中心线位置重合，设定多个初始参数:图像中点横坐标、导航线斜率、导航线与x轴截距，在处理第一帧图像时，将树干中点横坐标小于所述图像中点横坐标的树干坐标放到同一个数组中，生成导航线方程。具体地，程序开始时对感兴趣区域位置进行初始化，使感兴趣区域中心线位置与图像中心线位置重合。设定3个初始参数:图像中点横坐标xmid＝320,导航线斜率k＝0，导航线与x轴截距b＝0。在处理第一帧图像时，将树干中点横坐标小于xmid的树干坐标放到同一个数组a中，生成导航线方程y＝kx+b，设y1＝kx+b-b1,y2＝kx+b+b2,xmid＝40-(b/k)。由直线y＝0,x＝0,y1＝kx+b-b1，y2＝kx+b+b2所形成的封闭区域即为感兴趣区域，如图3所示。经过试验，在使感兴趣区域尽可能小的情况下，当b1＝40，b2＝20时可较好的保留单侧树干的信息，实现导航路径的快速捕捉。当感兴趣区域没有树干信息时，系统将自动初始化参数，重新对全局进行扫描。

模糊控制算法是应用很广泛的一种算法，模糊控制器的优点在于它无需建立精确的控制模型，只要定义有效的输入、输出变量及合适的模糊控制规则即可。所述模糊控制器采用双输入单输出的形式，输入量为所述采摘机器人的横向偏差和偏角，输出量为所述采摘机器人的转向时间，对所述输入量和输出量进行模糊化，根据所述采摘机器人在田间相对树干的位置偏差，设定所述横向偏差的范围和偏角的范围，其中所述横向偏差、偏角被划分成多个模糊子集，所述输出量是对所述采摘机器人的转向方向和程度的控制，同样划分为多个模糊子集。具体地，模糊控制的结构采用双输入单输出的形式，输入量为采摘机器人的横向偏差d和偏角β，输出量为采摘机器人的转向时间t。首先对输入量和输出量进行模糊化，根据采摘机器人在田间中相对树干的位置偏差，取d的范围为[-90cm,90cm]，β为[-45°,45°]。为了简化计算，横向偏差d、偏角β被划分成七个模糊子集：负大(nb)、负中(nm)、负小(ns)、零(zo)、正小(ps)，正中(pm)，正大(pb)，量化等级都为{-3，-2，-1，0，1，2，3}，横向偏差量化因子kd＝1/30,偏角量化因kβ＝1/15。输出变量t是对采摘机器人的转向方向和程度的控制，同样划分为七个模糊子集{lb,lm,ls,zo,rs,rm,rb}，lb、lm、ls均表示左转向，分别表示左转1.5s、1s、0.6s；zo表示保持当前行驶状态，不转向；rs、rm、rb均代表右转向，分别表示右转1.5s、1s、0.6s。量化等级为{-3，-2，-1,0,1,2,3}，量化因子kt＝1。

所示模糊控制规则可描述为ifd＝xandβ＝y,thent＝z。系统工作时，首先由所述工控机采集图片信息，经过图像处理、坐标系转化等步骤将横向偏差d、偏角β传输到模糊控制器中，采用重心法去模糊化计算输出变量t,采用单片机接收所述工控机发来的输出变量t,通过指令判断所述采摘机器人的转向时间从而实现路径跟踪。

所述采摘机器人实现路径跟踪后，就可以开始对所述农作物进行采摘，具体地，如图4和图5所示，所述采摘机器人包括采收末端10，通过采收指振动对果树进行收获，具体地，所述采收末端10包括固定树干枝条的第一手指11以及带动枝条来回振动的第二手指12，由于在采摘的过程中，所述树干枝条被所述第一手指11固定，因为利用所述第二手指12振动所述树干枝条时，可以避免对其它主枝或二级枝条的影响。所述第一手指11位于所述第二手指12的下方，其中所述第一手指11的数量为多个，并排设计，且所述树干枝条夹持在任意相邻两个第一手指11之间；所述第二手指12的数量为多个，并排设计，所述枝条夹持在任意相邻两个第二手指12之间，带动枝条来回振动，整个装置不但结构简单、操作方便，而且成本低廉、使用寿命长。

为了实现带动所述枝条来回振动，所述第二手指12通过曲柄摇杆装置13与动力装置14相连。所述动力装置14提供动力，所述曲柄摇杆装置13将旋转运动转化成往复摆动运动，带动所述第二手指12的振动。本实施例中，所述动力装置14是电机。发明由所述电机驱动曲柄连杆装置，能够方便的实现曲柄连杆装置频率的改变，从而改变对单位时间内枝条的拍打次数，能够有效保护枝条在采收过程中不被振伤、折断。

为了控制所述采收末端10在竖直方向上的位置，以及所述第一手指11和所述第二手指12插入所述枝条的深度，所述采收末端10固定在移动模块20上，具体地，所述移动模块20包括与所述采收末端10连接的滑块21，所述滑块21可滑动的设置在第一轨道22上，所述第一轨道22可滑动的设置在第二导轨23上，所述第一轨道22的延伸方向与所述第二轨道23的延伸方向相互垂直，从而可以实现带动所述采收末端10在水平方向和竖直方向上的运动。

如图6所示，为了控制所述采摘机器人的转向，所述采摘机器人包括第一转向动力装置31a、第一钢丝绳32a、第一转向离合器以及第二转向动力装置31b、第二钢丝绳32b、第二右转向离合器，其中所述第一转向动力装置31a通过所述第一钢丝绳32a与所述第一转向离合器的第一拨叉33a相连，通过所述第一转向动力装置31a带动所述第一钢丝绳32a控制所述第一拨叉33a的运动，使所述第一转向离合器运动，进而控制所述采集机器人的转向；所述第二转向动力装置31b通过所述第二钢丝绳32b与所述第二转向离合器的第二拨叉33b相连，通过所述第二转向动力装置32a带动所述第二钢丝绳32b控制所述第二拨叉33b的运动，使所述第二转向离合器运动，进而控制所述采集机器人的转向；所述第一拨叉33a和所述第二拨叉33b通过伸缩件34相连，有利于保证所述第一拨叉33a和所述第二拨叉33b的复位。

本实施例中，所述第一转向动力装置31a和所述第二转向动力装置31b的作用分别是拉动钢丝绳运动使得右轮、左轮脱离运动主轴，因此均可以采用气缸；所述钢丝绳的一端连接所述气缸推杆，另一端连接离合器；所述伸缩件34采用弹簧；所述第一转向离合器和所述第二转向离合器均与动力源相连，且其作用是分离与结合所述动力源。

下面详细说明如何控制所述采摘机器人的转向：

所述采摘机器人通过拉动所述第一转向离合器或第二转向离合器，切断车轮的左轮或者右轮脱离运动主轴，实现所述采摘机器人的差速转向。具体地，当所述气缸收缩时，所述钢丝绳带动转向离合器运动，使链轮失去结合力，因此所述链轮停转；当气缸伸出时，所述转向离合器在所述弹簧的作用下复位，使所述链轮与所述运动主轴啮合，所述链轮继续转动。

所述第一转向动力装置31a、所述第二转向动力装置31b以及所述第一转向离合器、第二转向离合器均固定在机架35上。

为了实现携带相关装置到达指定采收位置，所述采摘机器人包括履带式底盘车40，所述履带式底盘车40具有高速、中速、低速三个档位，可适应不同工况下的行进速度要求。所述履带式底盘车40上设有相机框架41，所述摄像头42安放在所述相机框架41上，所述摄像头42可以实时采集实时工况图片，将采集后的图片上传到所述工控机。

所述采摘机器人还包括控制单元，所述视觉导航模块、图像处理模块、计算模块以及执行模块均与所述控制单元相连，所述控制单元置放在控制柜中，从而通过视觉技术识别树干，对图像信息进行处理并经坐标转化后得到偏距偏角信息，最后通过模糊控制的方法控制机器人的转向。

本实施例所述基于视觉导航的采摘机器人的工作过程如下：

利用所述摄像头42实时采集田间的树干信息，其中所述树干信息有涂白，将采集的图像数据信息反馈给所述工控机，所述工控机对接收到的图像数据信息进行图像处理，具体地，依次对图像数据信息进行灰度化处理、二值化及去噪处理、提取矩形骨架，利用最小二乘法拟合出导航线，动态提取图像感兴趣区域，计算位姿，将所述采摘机器人的横向偏差d、偏角β传输到模糊控制器中，采用重心法去模糊化计算输出变量t,采用单片机接收所述工控机发来的信息,通过指令判断控制所述气缸伸缩的时间从而实现路径跟踪。

本实施例对农作物的采摘包括对枸杞的采摘，但是不限于枸杞，也可以是其它农作物。

实施例二

基于同一发明构思，本实施例提供了一种基于视觉导航的采摘机器人的控制方法，其解决问题的原理与所述基于视觉导航的采摘机器人类似，重复之处不再赘述。

本实施例所述的基于视觉导航的采摘机器人的控制方法包括：

实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；

利用所述工控机对接收到的图像数据信息进行图像处理；

计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；

根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。