一种使用视觉导航的多旋翼无人机果实采收方法及其装置与流程

本发明涉及采摘机械领域，特别涉及一种使用视觉导航的多旋翼无人机果实采收方法及其装置。

背景技术：

中国是一个农业大国，油茶、核桃等果实是我国最主要的经济作物之一。以油茶为例，与其它果实的采收相比，油茶果采收具有以下特点：首先，油茶树较高大，种植地区地形复杂，多数种植在山区，不利于大型作业机器；其次，油茶树挂果密集，同枝挂果成熟期不同；而且，油茶果采收时要求动作轻，不可用敲打和折枝的方法，不能损伤树枝和花苞，否则会严重影响第二年的产量。

目前，油茶果基本上是手工采收，比如人手摇晃树干，通过外力作用使果实与果树分离，再通过果树下的收集网袋收集果实。这种采收方式的人工强度较大，采摘效率低，而且在采摘过程中油茶果掉落容易对采摘人员造成伤害。

技术实现要素：

本发明的目的在于克服现有技术中存在的缺点，提供一种采摘效率高、人工采摘强度低的使用视觉导航的多旋翼无人机果实采收方法及其装置。

本发明的目的通过下述技术方案实现：

一种使用视觉导航的多旋翼无人机果实采收装置，包括无人机机体1、伸缩支架2、齿梳架3和齿梳杆4；在无人机机体1的两侧分别设置有左右对称的伸缩支架2；齿梳架3平行位于伸缩支架2的下方；伸缩支架2上垂直安装有两根伸缩导向杆2-2，伸缩导向杆2-2同时套接在齿梳架3的两端；齿梳架3的中部垂直安装有丝杆3-1，丝杆3-1同时穿出伸缩支架2；齿梳架3上安装有步进电机2-1，通过步进电机2-1带动丝杆转动，进而带动齿梳架3的上升或下降；齿梳架3的下方垂直安装有两根以上的齿梳杆4，其中位于齿梳架3两端的齿梳杆的内部为空心，与伸缩导向杆2-2配合组成滑轨结构。

齿梳杆4包括杆身、球形关节4-2和齿梳杆头部4-1，齿梳杆头部4-1通过球形关节4-2与杆身连接，使得齿梳杆头部4-1可以通过球形关节4-2相对于杆身弯曲或转动一定角度。其中，中间的齿梳杆头部安装有双目视觉系统。每根齿梳杆的间隔距离比果实平均直径略小1～2mm，且大于花蕾。

所述齿梳杆头部4-1为仿生扁平头龟头形状，头尖且圆滑。

所述双目视觉系统由两个摄像机5组成，用于飞行过程中的图像采集、无人机与果树的距离测定。

所述齿梳架3的高度可调节，在采摘过程中，双目视觉系统通过深度学习方法识别目标，得到无人机两侧果树距离齿梳杆头部的高度信息；然后采摘人员通过步进电机2-1带动丝杆3-1转动，丝杆3-1带动齿梳架3的上升或下降，调整无人机两侧齿梳杆4的高度。

一种使用视觉导航的多旋翼无人机果实采收方法，采用上述多旋翼无人机果实采收装置，包括下述步骤：

(1)对视觉导航的神经网络系统进行训练：进行基于faster-rcnn模型的图像语义分割网络训练，进行基于pointnet++模型的点云分类网络训练，使得训练好的视觉导航的神经网络系统可以识别每棵果树的位置；

(2)对双目视觉系统进行双目标定：先对多旋翼无人机果实采收装置的双目视觉系统进行单目标定，得到每个摄像机的内参数矩阵与畸变系数矩阵；再对双目视觉系统进行双目标定，得到用于三维重建的重投影矩阵，以及像素距离与真实物理距离的转换关系；

(3)获取树冠图像：控制无人机飞到果树6的上方，采用无人机一侧的伸缩支架2上的双目视觉系统拍摄得到果树的左右树冠图像，然后对左右树冠图像进行双目校正，得到双目校正后的左右树冠图像；

(4)分割树冠图像：采用训练好的faster-rcnn模型将双目校正后的左右树冠图像中的果树分割出来，依序给分割结果进行编号，一个编号代表一棵果树，计算每棵被分割出来的果树的中心；然后每一组左右树冠图像保留一棵果树的内容，其余部分的像素灰度值设置为0；

(5)计算树冠的三维点云：将sgbm立体匹配算法应用于左右树冠图像，生成视差图，三维重建后得到三维点云；然后利用训练好的pointnet++模型准确找到树冠的三维点云；

(6)对无人机进行视觉导航：采用最小二乘法对树冠的三维点云进行球拟合，并返回球心o1的位置，将球心o1投影到摄像机坐标系的oxy平面上；计算球心投影o1’到摄像机坐标系原点o的实际物理距离如果(e的取值范围在100mm～150mm)时，认为中间齿梳杆已经对准树冠中心；若无人机根据距离值和方向调整无人机的位置，直至

(7)计算树冠的三维点云中最高顶点的深度，获得齿梳杆头部与树冠顶端的距离；通过同样的方法，获取无人机另一侧的伸缩支架2上的齿梳杆头部与距离该侧齿梳杆头部最近的另一个树冠顶端的距离；再分别根据两侧齿梳杆头部与树冠顶端的距离来控制调节两侧齿梳架的水平高度，当无人机左右两侧果树的高度不同时，在无人机保持水平情况下，使两侧齿梳杆插入果树的深度相同；

(8)然后无人机下降1～1.5米，使齿梳杆插入树冠中，即可开始作业，通过无人机改变俯仰姿态和转动，带动齿梳杆上下左右运行和摇晃果树，将果实梳出或打落。

所述基于faster-rcnn模型的图像语义分割网络训练，是先将无人机起飞至距离果树树冠顶部2～3米的上空，悬停后双目视觉系统分别拍摄果树树冠图像，多次采样后得到不少于300组的树冠图像，用于神经网络的训练；训练好的faster-rcnn模型用于果树的树冠图像分割，确定树冠图像中每棵果树的位置。

对于每一组树冠图像(一组树冠图像包括左图像和右图像)，采用训练好的faster-rcnn模型将每组树冠图像中的树冠部分分割出来，其余部分的灰度值设置为0，则每组树冠图像都只剩下树冠部分。每组图像中，左右图像的树冠是相对应的，采用sgbm立体匹配算法可生成视差图，进行三维重建后，得到树冠的三维点云。

所述基于pointnet++模型的点云分类网络训练，是对三维重建后得到的树冠的三维点云制作训练用的标签，并用于pointnet++模型的训练。训练好的pointnet++模型用于分割树冠的三维点云。由于三维重建后的树冠点云仍有较多噪声，采用pointnet++模型对树冠点云进行再分割，可以准确找到树冠点云。

上述多旋翼无人机果实采收装置的工作步骤为：多旋翼无人机飞行至果树树冠上方时，双目视觉系统通过深度学习和三维重建的方法获取树冠的点云，并通过最小二乘法求解树冠的中心，然后控制无人机飞行并使一侧的中部齿梳杆对准树冠中心；另一侧的双目视觉系统进行采集并获取另一侧的树冠中心，进而判断无人机的位置是否需要修正。然后根据树冠点云顶端的深度信息，控制齿梳架下降，使齿梳杆头部靠近树冠顶端。最后无人机下降，让齿梳杆插入果树中，通过无人机的飞行和齿梳杆的伸缩对树冠进行上下左右运行和小振动，齿梳杆起到梳果作用，使果实梳落或抖落，因龟形头齿梳杆间距大于花或花蕾，避免了作业时把花蕾梳落。

根据现有的油茶果采摘方式，采摘人员在工作时需要摇晃树干，通过外力使成熟油茶果实与果树分离，分离后油茶果落入油茶树下安装的网袋中，采摘过程中，因果实基本上长在果树的上面枝上，人工要用很大的力量，才能使得油茶果的掉落，容易对采摘人员造成伤害或花蕾下落，同时该采摘方式需要耗费很多的人力。本发明利用无人机的飞行特质，在无人机的两侧安装伸缩支架，伸缩支架上安装用于摇晃果树用的齿梳杆，齿梳杆用于摇晃果树使油茶果掉落，代替人手摇晃树干的过程；而且齿梳杆头部为仿生龟头状，通过球形关节与齿梳杆连接，具有良好的导向性；在采摘过程中，采摘人员利用双目视觉系统实现果树目标定位及测距，控制无人机按预定路线行驶，同时利用双目视觉系统测定无人机两侧果树的高度，从而调整无人机两侧齿梳杆的位置，可使两侧齿梳杆插入果树后达到合适的深度；进而通过无人机上安装的齿梳杆将油茶果树中成熟的果实抖落或梳落，使油茶果落入网袋7中，最后由采摘人员收集。可见，本发明与现有技术相比，节省劳动力、采摘效率高、避免对采摘人员的伤害。

附图说明

图1为本发明多旋翼无人机果实采收装置的结构示意图。

图2为本发明多旋翼无人机果实采收装置的采收示意图。

其中，1：无人机机体；2：伸缩支架；2-1：步进电机；2-2：伸缩导向杆；3：齿梳架；3-1：丝杆；4：齿梳杆；4-1：齿梳杆头部；4-2：球形关节；5：摄像头；6：果树；7：网袋。

具体实施方式

下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1和图2所示，一种使用视觉导航的多旋翼无人机果实采收装置，包括无人机机体1、伸缩支架2、齿梳架3和齿梳杆4；在无人机机体1的两侧分别设置有左右对称的伸缩支架2；齿梳架3平行位于伸缩支架2的下方；伸缩支架2上垂直安装有两根伸缩导向杆2-2，伸缩导向杆2-2同时套接在齿梳架3的两端；齿梳架3的中部垂直安装有丝杆3-1，丝杆3-1同时穿出伸缩支架2；齿梳架3上安装有步进电机2-1，通过步进电机2-1带动丝杆转动，进而带动齿梳架3的上升或下降；齿梳架3的下方垂直安装有两根以上的齿梳杆4，其中位于齿梳架3两端的齿梳杆的内部为空心，与伸缩导向杆2-2配合组成滑轨结构。齿梳杆4包括杆身、球形关节4-2和齿梳杆头部4-1；齿梳杆头部4-1为仿生扁平头龟头形状，头尖且圆滑；齿梳杆头部4-1通过球形关节4-2与杆身连接，使得齿梳杆头部4-1可以通过球形关节4-2相对于杆身弯曲或转动一定角度。每根齿梳杆的间隔距离比果实平均直径略小1～2mm。其中，中间的齿梳杆头部安装有双目视觉系统，由两个摄像机5组成，用于飞行过程中的图像采集、无人机与果树的距离测定。所述齿梳架3的高度可调节，在采摘过程中，双目视觉系统通过深度学习方法识别目标，得到无人机两侧果树距离齿梳杆头部的高度信息；然后采摘人员通过步进电机2-1带动丝杆3-1转动，丝杆3-1带动齿梳架3的上升或下降，调整无人机两侧齿梳杆4的高度。

在进行采摘作业之前，需要进行基于faster-rcnn模型的图像语义分割网络训练，进行基于pointnet++模型的点云分类网络训练，使得训练好的视觉导航的神经网络系统可以识别每棵油茶果树的位置；

在采摘前，要先对双目视觉系统进行标定，使无人机距离地面约1米，将一块标定板放在地面上，使无人机上的摄像机能拍到标定板，采集标定板图像(不少于15组)，然后先后进行单目标定和双目标定。标定只需进行一次。

采摘作业时，无人机从油茶果树田的边缘起飞至距离地面约5米处，并飞行至一棵油茶果树6的上方，使双目摄像机5大致对准油茶果树的树冠中心，齿梳架3收起，位于无人机1前进方向左边的双目摄像机5拍摄一组图像，得到油茶果树的左右图像各一张，采用训练后的faster-rcnn模型将左右图像中的油茶果树分割出来。依据从左到右，从下到上的顺序依次给faster-rcnn模型分割结果进行编号，并计算每棵被分割出来的油茶果树的中心，保留图像中第一棵油茶果树的内容，图像其余像素灰度值置0。在采摘过程中，采摘人员根据双目视觉系统传输的图像，控制无人机按照路线行驶。在飞行过程中，双目视觉系统利用分割出来的油茶果树左右图像，采用sgbm立体匹配算法生成视差图，然后进行三维重建得到三维点云，准确找到油茶果树树冠的三维点云。计算油茶果树树冠三维点云中最高顶点的深度，可得知齿梳杆头部4-1与树冠顶端的距离，即可开始作业，采摘人员控制步进电机2-1，带动丝杆3-1转动，丝杆3-1带动齿梳架3上升或下降，控制两侧齿梳杆的高度。通过同样的方法，使得无人机另一侧的伸缩支架2上的齿梳杆头部靠近另一棵油茶果树的树冠。采摘人员控制多旋翼无人机将齿梳杆插入果树6的枝干间隙之中，在插入枝干过程中，若龟头遇到树节，齿梳杆头部4-1将通过球形关节4-2转动一定角度，使龟头避开树节；插入枝干丛后，采摘人员通过控制无人机运动，带动齿梳杆摇晃上部的果树枝，在改变无人机俯仰或前行或转动的过程中，齿梳杆也梳落部分果实，代替以往采摘过程中人手摇晃树干、抖落油茶果的步骤，油茶果被抖落后落入网袋7后，由采摘人员统一收集运离，完成采摘过程。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。