本发明涉及水果智能化采摘，具体涉及一种水果智能化除遮采摘方法。
背景技术：
1、采摘荔枝、葡萄、龙眼、黑加仑等串型水果的过程中，通常采用自动化或半自动化采摘工具对串型水果的母枝进行夹剪，这种采摘方式不仅能够确保果实成串采摘，提升储存、运输、销售的便捷性，还能够避免采摘过程中对果实造成损伤、提升采摘效率。然而，在串型水果的采摘过程中，尤其是荔枝、龙眼等果实较为分散的串型水果采摘过程中，待采摘的果实母枝易被相邻簇的果实遮挡，加大串型水果的采摘难度，且自动化采摘过程中易造成相邻簇果实的损伤及错采、漏采、误采等问题，降低采摘的精准性与采摘效率；因此，目前大多数串型水果的采摘仍以人工半自动化为主、通过人工对遮挡果实簇进行拨开，完成目标簇的精确化采摘，然而利用人工拨开遮挡果实簇一是极大的耗费人力物力、增加水果的采收成本，二是采摘效率低、采摘耗时长，易拉长串型水果的整个采收周期，三是对操作人员的经验要求高、操作人员需分辨遮挡果实与目标果实簇的母枝。可见，目前的串型水果采摘领域缺少一种用于串型水果的自动化采摘机器人，其能够在串型水果采摘过程中、主动分离目标果实与遮挡物（例如：风力吹开或通过机械手段移开等），并在分离遮挡物后、能够有效的适配目标果实及遮挡物受环境因素（如：重力因素、外界风力、枝条拉扯力等）与分离作用力（吹开风力或机械手碰撞力等）而出现的复杂轨迹运动（如遮挡物会出现大幅度偏移、再进行小幅度往复运动），确保精准化采摘的同时不会出现相邻簇果实、枝条以及采摘机械手等损伤，提升采摘效率的同时降低采摘成本与损耗。
技术实现思路
1、针对以上现有技术存在的问题，本发明的目的在于提供一种水果智能化除遮采摘方法，该采摘方法通过自动化的采摘机器人能够在主动分离遮挡果实的同时，基于视觉感知识别复杂运动下的母枝采摘点，进而完成串型水果的精准化夹剪作业，避免由于果实遮挡以及分离遮挡而导致的错采、漏采、误采以及果实或采摘装置损伤等问题，提升采摘效率、降低采收成本。
2、本发明的目的通过以下技术方案实现：
3、一种水果智能化除遮采摘方法，采用包括底盘、行走机构、工业计算机、机械臂、末端执行器、pid控制器、除遮机构、双目立体相机的采摘机器人，具体采摘方法为：
4、步骤a、采摘机器人移动至待采摘区域，双目立体相机识别串型水果，并进行三维重建、提取串型水果的各个参数；
5、步骤b、根据参数信息与空间余度模型、确定使串型水果的母枝与其遮挡果实之间有效分离的除遮压强；追踪、记录串型水果的母枝及其遮挡果实各自的运动特征数据，并分别建立运动特性映射表；
6、步骤c、启动除遮机构进行除遮、并实时监测除遮压强，采用pid控制器结合实时压强与运动特性映射表进行除遮压强的调节，并根据串型水果的母枝及其遮挡果实的空间坐标拟合空间轨迹；
7、步骤d、根据拟合得到的空间轨迹感知采摘点，实现串型水果的动态采摘。
8、基于上述方案的进一步优化，所述行走机构设置在底盘下侧、用于控制整个采摘机器人的移动；工业计算机与pid控制器设置于底盘的空间内，机械臂设置于底盘的端面，末端执行器设置在机械臂远离底盘的一端，双目立体相机安装在末端执行器上侧；除遮机构设置与底盘的端面，包括竖直导轨、丝杠、控制电机、滑块、连接件、转动电机、气喷枪与电磁控制阀，竖直导轨固定设置在底座端面且竖直导轨内设置转动的丝杠，竖直导轨底部设置控制电机且控制电机输出轴与丝杠底端固定连接，竖直导轨内滑动设置滑块且滑块中部被丝杠螺旋贯穿，滑块一侧侧面固定设置连接件且连接件与竖直导轨对应侧面滑动连接，连接件底面设置能够转动的气喷枪且气喷枪靠近连接件的一端设置电磁控制阀，连接件端面设置转动电机且气喷枪靠近连接件的一端端部固定套接在转动电机输出轴外壁，从而通过转动电机控制气喷枪绕转动电机输出轴中轴线转动。
9、基于上述方案的进一步优化，所述步骤a中双目立体相机识别串型水果的具体方法为：
10、步骤a1、双目立体相机通过预训练完成的yolov8模型对串型水果的果实进行识别，并选取一帧图像进行定位；将果实识别框存在重合部分的图像定义为潜在具有遮挡特征的串型水果果实串；
11、步骤a2、对潜在具有遮挡特征的串型水果果实串进行遮挡判定：
12、
13、式中： iou表示图像的交并之比； sa、 sb分别表示识别框a、识别框b的面积； ax、 cx表示识别框a沿主对角线上两顶点的横坐标； ay、 cy表示识别框a沿主对角线上两顶点的纵坐标； bx、 dx表示识别框b沿主对角线上两顶点的横坐标； by、 dy表示识别框b沿主对角线上两顶点的纵坐标；
14、预设遮挡阈值 ioud，若 iou≥ioud、则判定该串型水果果实串具有遮挡特征，否则、则未被遮挡。
15、基于上述方案的进一步优化，所述 ioud为0.6。
16、基于上述方案的进一步优化，所述步骤a中进行三维重建、提取串型水果的各个参数的具体方法为：
17、步骤a3、采用canny边缘检测提取串型水果果实串图像的边缘特征点：
18、先获得不同像素点的梯度强度：
19、
20、式中： g(x,y)表示梯度幅值；表示梯度方向； gx、 gy分别表示图像在x、y方向上的梯度；
21、再采用非极大值抑制与双阈值处理的方法，在梯度方向上保留局部极大值、获取准确的检测框边缘：
22、预设高阈值 gmax与低阈值 gmin，若 g(x,y)≥gmax、则为强边缘，若 gmin≤ g(x,y)<gmax、则为弱边缘，若 g(x,y)<gmax、则为非边缘；
23、步骤a4、采用最近邻匹配方法进行提取的串型水果果实串边缘特征的匹配：
24、先测量不同特征点之间的距离：
25、
26、式中：表示 xi、 xj两个特征点之间的距离；表示图像 x的第 r个属性值；
27、再取出距离接近的特征点，并对这些特征点进行统计、完成串型水果果实串边缘特征的匹配；
28、步骤a5、将完成匹配的特征点进行三维空间坐标转换：
29、
30、式中： q表示双目立体视觉相机的重投影矩阵； t表示双目立体视觉相机的基线距离； f表示焦距； x’、x分别表示双目立体视觉相机的左、右相机视图的横坐标， d表示视差， x、 y、z分别表示目标在世界坐标系下的距离分量； w表示权重参数；
31、步骤a6、采用迭代最近点方法将点云坐标对齐到同一个坐标系中、完成对多个图像点云的配准操作：
32、
33、式中： r表示旋转变换矩阵， u表示平移变换矩阵； pi表示对应点云 p中的任意一点； qi表示对应点云 q中距离最短的点；
34、通过迭代获得最优变换矩阵，使得两个点云重合，即完成配准；
35、步骤a7、采用泊松表面重建方法对配准点云进行三维重建、生成三维模型，并根据三维模型提取串型水果的果实参数、枝条参数和作用距离。
36、基于上述方案的进一步优化，所述泊松表面重建方法生成三维模型的具体方法为：
37、首先，将配准点云的点集 j（ p1 ,p2 ,…,pn）转换为三角网络 st（ st1 ,st2 ,…,stn），其中每个三角形由三个顶点组成：
38、
39、式中： delaunay(·)表示 delaunay三角剖分函数；
40、识别三角网络中的边界边，即一条边只出现在一个三角形中、那这条边为边界边，构建稀疏矩阵 ax和零向量 l0；
41、对于每条边（i,j），更新矩阵：
42、；
43、则：
44、使用三角剖分与求解得到的法向量 fx重建三维网格、获得光滑表面。
45、基于上述方案的进一步优化，所述步骤b中根据参数信息与空间余度模型、确定使串型水果的母枝与其遮挡果实之间有效分离的除遮压强的具体方法为：
46、步骤b1、预设空间余度阈值，若采摘点与遮挡果实之间的空间余度大于空间余度阈值，则末端执行器进入空间余度、并在采摘点等待采摘夹剪串型水果母枝；若采摘点与遮挡果实之间的空间余度小于空间余度阈值，则启动除遮系统、直至空间余度大于空间余度阈值；若采摘果实串未被遮挡，末端执行器直接进入采摘点进行采摘；
47、步骤b2、利用空间余度模型计算母枝与遮挡果实之间的最大可容忍距离（即初始被遮挡的串型水果果实串和三维重建中生成的串型水果采摘点之间的距离与除遮后最大距离的差值），若最大可容忍距离大于空间余度阈值、则表示母枝与对应的遮挡水果能有效分离，若最大可容忍距离不大于空间余度阈值、则不能够有效分离；
48、根据重建的三维模型提取串型水果果实串的果实参数与枝条参数，获得有效分离的除遮压强：
49、
50、式中： f表示除遮作用力； d表示最大可容忍距离； p表示有效分离的除遮压强； s表示除遮作用面积； v2、 v1分别表示气喷枪的吹出气体速度、给入气体速度。
51、基于上述方案的进一步优化，所述空间余度阈值的取值范围为95～105mm。
52、基于上述方案的进一步优化，所述步骤b中追踪、记录串型水果的母枝及其遮挡果实各自的运动特征数据，并分别建立运动特性映射表的具体方法为：
53、步骤b3、检测图像中的局部特征点：
54、
55、式中： h(f(x,y))表示hessian矩阵； det(h)表示hessian矩阵的特征值的判别式；表示用图像像素代替函数值的矩阵； lxx 、lxy 、lyy表示高斯二阶偏导数、、与图像之间的卷积；表示图像像素坐标；
56、通过hessian矩阵的特征值确定特征点的尺度大小，计算hessian矩阵的行列式、得到图像中的局部极值点（即图像中对应的特征点）；
57、根据重建的三维模型所匹配的特征点结果，将第一帧图像中的特征点与第二帧图像中的特征点进行对应，从而追踪特征点在不同图像帧中的位置变化、实现不同图像帧中特征点的追踪；
58、步骤b4、根据特征点的像素坐标，通过比较特征点在相邻图像帧中的位置变化、获得母枝与遮挡果实的速度 v：
59、
60、式中，表示当前帧像素的坐标位置，表示上一帧像素的坐标位置，表示相邻两帧图像的时间间隔；
61、通过速度变化率、获得母枝与遮挡果实的加速度 av：
62、
63、式中： v2表示当前帧像素坐标的速度， v1表示上一帧像素坐标的速度；
64、同时，计算母枝与遮挡果实之间的距离 d：
65、
66、式中： (x1 ,y1 )表示母枝几何中心的坐标； (x2 ,y2 )表示遮挡果实几何中心的坐标；
67、将计算得到的速度、加速度以及母枝与遮挡果实之间的距离数据按行记录，且每一行对应一个时间点的数据，由此建立母枝与其遮挡果实各自的运动特性映射表。
68、基于上述方案的进一步优化，所述步骤c中采用pid控制器结合实时压强与运动特性映射表进行除遮压强的调节的具体方法为：
69、根据运动特性映射表和有效分离的除遮压强，通过pid控制器进行实时调整：
70、将pid控制器的输出调节量作为除遮压强的调整量，实时反馈到整个系统中，根据系统的实际运行情况、不断调整pid控制参数：
71、先确定误差值、以估计实际压强与理想的有效分离除遮压强的差距：
72、
73、式中： e(t)表示当前时刻的误差值； sp表示设定的理想的有效分离除遮压强； pv表示实际压强；
74、再将误差值输入到pid控制器中，获得输出结果：
75、
76、式中： kp 、ki 、kd分别表示比例系数、积分系数、微分系数；
77、根据pid控制器的输出结果、实时反馈并调节。
78、基于上述方案的进一步优化，所述步骤c中根据串型水果的母枝及其遮挡果实的空间坐标拟合空间轨迹的具体方法为：
79、拟合水平平面曲线、构建拟合多项式矩阵：
80、
81、式中： (xn ,yn )表示水平平面内其中一点的平面坐标；表示拟合曲线的系数； xn表示横坐标矩阵， yn表示纵坐标矩阵， an表示系数矩阵；
82、通过求解系数矩阵 an、获得水平平面拟合曲线；
83、同时，拟合垂直平面曲线、构建拟合多项式矩阵：
84、
85、式中： (yn ,zn )表示垂直平面内其中一点的平面坐标；表示拟合曲线的系数； yn表示横坐标矩阵， zn表示纵坐标矩阵， bn表示系数矩阵；
86、通过求解系数矩阵 bn、获得垂直平面拟合曲线；
87、联立水平平面拟合曲线与垂直平面拟合曲线，获得空间拟合曲线、即空间轨迹。
88、基于上述方案的进一步优化，所述步骤d中根据拟合得到的空间轨迹感知采摘点的具体方法为：
89、首先，采用普利姆算法，选择一个起始节点作为树的根节点，并将加入最小生成树中；初始化一个集合、用于存放已经加入最小生成树的节点，再初始化另一个集合、用于存放尚未加入最小生成树的节点；
90、将起始节点的所有相邻节点加入集合中，并从集合中选择与已经加入最小生成树的节点相连且权值最小的边，将其加入最小生成树种，并将对应的节点加入已经集合中；重复上述步骤，直到所有节点都被加入最小生成树中；
91、然后，利用极大团边权值方法计算最小生成树中的极大团边权值、找到连接最密集的节点的边：
92、 g(v,e)是一个无向图，其中， v表示节点集合、即节点， e表示边集合、即边， w(e)表示边 e的权值；同时，假设 n(v)表示节点 vj的邻居节点集合、即与节点 vj相连的节点集合，则极大团边权值 maxw为：
93、
94、其中：表示最小生成树的边；
95、随后，对于最小生成树的每个节点 vj、对其极大团边权值 maxw初始化为零（即），遍历最小生成树的所有边、并计算边的权值 w(e)；
96、再之后，对于每个节点 vj，找到与相连的所有边，并计算这些边的权值、获得权值最大的边：即对于每个节点 vj，将其边权值与相邻节点的边权值进行比较，若相邻节点的边权值大、则将其更新为相邻节点的边权值，若相邻节点的边权值小、则不进行更新，直至所有节点的边权值不再更新，最终获得的每个节点的边权值即为最小生成树的极大团边权值；
97、根据最小生成树的极大团边权值的节点的边获取采摘点。
98、以下是本发明方案所具备的技术效果：
99、本技术通过设置在机械臂末端的双目立体相机的视觉感知、实现对串型水果植株的识别，并基于视觉感知的串型水果的识别、对具有遮挡的串型水果果实串进行三维重建，完成除遮过程中、即除遮源作用下的串型水果母枝与遮挡果实的运动特性分析；利用分析得到的运动特性，不仅配合pid控制器实现除遮源的实时调节、控制，还能够有效优化母枝与遮挡果实之间的复杂运动、从而拟合母枝与遮挡果实的运动轨迹，结合采摘点空间定位视觉感知信息，建立采摘点在复杂运动下的空间运动模型，进而有效指导机械臂与末端执行器进行采摘点的夹剪、采摘作业，不仅完成采摘点与遮挡果实之间有效、精准的分离，还避免分离后的复杂运动影响末端执行器的夹剪、采摘作业，降低串型水果自动化采摘过程中的难度、提升串型水果的自动化采摘效率、降低串型水果的采收成本。