本发明涉及水果采摘，具体涉及一种基于视觉感知的水果智能化精准采摘方法。
背景技术：
1、串型水果，指果实生长时成串聚集的一类水果总称、即串型水果的一条母枝上含有成串的多颗果实，目前常见的串型水果由葡萄、荔枝、龙眼、黑加仑等；由于串型水果的果实为簇生结构，其具有体积和重量大、果梗杆茎小等特点，因此，串型水果的采摘较为繁琐，采摘过程中易出现损伤果实或其他枝干等问题。
2、由于串型水果采摘作业环境复杂，严重制约了该领域的采摘自动化的发展，部分地区的串型水果仍以人工半自动化采摘位置、即人工手持半自动化工具进行串型水果的采摘，此方法不仅影响采摘效率、还增加劳动生产成本，降低串型水果的种植收益。目前，随着智能化、数字化机械的日益发展，部分自动化采摘机器人也用于串型水果的采摘过程中，然而，目前大部分串型水果采摘机器人仅能够完成果实的无遮挡采摘，当果实受到其他相邻簇果实、枝杆、叶等遮挡时（由于风力、重力等因素，易导致果实、支杆、叶的相互遮挡），会呈现采摘机器人无法进行丢失目标、无法避障、采摘失败等问题，进而影响采摘整体节拍、降低采摘效率，严重的甚至会导致果实、枝杆的损伤，进而影响果树的整体收益。因此，采摘过程中，若要实现精确采摘，需要对目标果实的遮挡物进行吹飞，而遮挡物吹飞后，其受到重力、风阻及吹飞力的共同作用，易呈现不可控的复杂运动情况，进而对目标果实进行二次、甚至多次往复的遮挡，且目标果实也易受到吹飞力作用出现偏移、即采摘点易发生偏移，进一步增加目标果实的采摘难度，同时增加果实、采摘机器人的损坏概率，增加采摘耗时、提高采摘成本。
技术实现思路
1、针对以上现有技术存在的问题，本发明的目的在于提供一种基于视觉感知的水果智能化精准采摘方法，该采摘方法能够在果实被遮挡且除遮后呈现复杂运动的情况下，实现运动状态采摘点的感知与精准夹剪，提高采摘的高效率、降低设备损坏概率，实现采收成本的控制。
2、本发明的目的通过以下技术方案实现：
3、一种基于视觉感知的水果智能化精准采摘方法，采用包括移动底盘、行走机构、工业计算机、收集框、采摘机械臂、末端执行器、单目视觉相机、双目立体相机与吹气组件的采摘机器人，采摘步骤为：
4、步骤a、采摘机器人移动至采摘区域，双目立体相机获取成熟的串型水果位置、记为目标果实，采摘机械臂控制末端执行器向目标果实移动、并通过吹气组件分离目标果实与遮挡果实，双目立体相机实时获取目标果实与遮挡果实的动态分离度；
5、此过程中，单目视觉相机实时记录包含目标果实采摘点、末端执行器与采摘机械臂的大视场图像；
6、步骤b、获取采摘点与遮挡果实之间的相对运动关系，以末端执行器的尺寸为阈值、寻找动态分离度最大化时刻，依据该时刻获取最优采摘点；
7、步骤c、在目标果实的采摘点落入最优采摘点时、进行夹剪；
8、步骤d、采摘结束、采摘机器人复位，进行下一次采摘。
9、基于上述方案的进一步优化，所述行走机构设置在移动底盘的底部、用于整个采摘机器人的运动行走控制；工业计算机、收集框、采摘机械臂与单目视觉相机分别设置在移动底盘上；末端执行器设置在采摘机械臂远离移动底盘的一端，双目立体相机设置在采摘机械臂远离移动底盘的一端且位于末端执行器的上侧；吹气组件通过升降支架设置在移动底盘的端面且吹气组件包括转向电机、空气压缩机与喷管；行走机构、采摘机械臂、末端执行器、单目视觉相机、双目立体相机、吹气组件及升降支架的驱动器分别与工业计算机电连接。
10、基于上述方案的进一步优化，所述步骤a具体方法为：
11、步骤a1、双目立体相机通过yolov5s算法识别部分被遮挡的目标果实后、取一帧图像进行定位识别；再利用hsv色域值对被遮挡的目标果实进行颜色分割，分离出含有成熟果实识别框与遮挡果实识别框的图像；随后对成熟果实识别框与遮挡果实识别框的图像进行重合度判断：若满足重合度条件、则认为成熟果实识别框前方的遮挡果实识别框为对应目标果实的从属果实，若未满足重合度条件、则未能成功配对果实、移出对应的果实图像；
12、步骤a2、采用吹气组件对遮挡果实进行吹飞、实现目标果实与遮挡果实的分离，并同步通过hsv色域值对识别到的目标果实的果实串进行颜色分割，分离出含有果实识别框与枝条识别框的图像；之后，对分离出的果实识别框与枝条识别框进行重合度判断，获取目标果实与其对应的枝条；
13、步骤a3、通过将目标果实的对应枝条的单值连通域在高度方向上划分为十等分、判断每条等分线水平方向上的连通域宽度，并将相邻水平方向上对于完成果实关系配对的枝条，单独提取出该枝条图像，进行单值连通域的宽度差值比较，获得对应目标果实的采摘点；
14、步骤a4、通过双目立体相机分别获得目标果实采摘点 μ（x1 ,y1 ,z1 ）与遮挡果实中心 v（x2 ,y2 ,z2 ）在世界坐标系中的坐标，采用时间戳同步方法、匹配相同时刻采摘点与遮挡果实中心两条运动轨迹的空间坐标点，获得同一时刻下二者之间距离 d：
15、
16、并通过wasserstein距离实时预测吹飞过程中采摘点 μ与遮挡果实中心 v之间的距离：
17、
18、
19、式中，表示 rx r上边缘分布分别为 μ和 v的概率测度构成的集合；、别表示 μ与 v对应的累积分布函数，即：
20、
21、式中： t表示累积分布函数的概率阈值；
22、获得遮挡果实与采摘点之间的距离，并实时进行跟踪记录、从而实时获取目标果实与遮挡果实之间的动态分离度。
23、基于上述方案的进一步优化，所述步骤a1、步骤a2中通过hsv色域值进行分割的具体方法为：
24、先通过预训练完成的yolov5s识别目标水果图像，并截取识别框内的图像；再针对截取的图像，利用统计的h（色相）、s（饱和度）、v（明亮度）数值范围对图像进行色域分割；并对色域分割后的图像进行二值化处理以及凸包填充处理，输出连通域的最小矩形区域；最后通过获取的最小矩形区域，分别获取目标果实、遮挡果实或枝条的相机像素坐标、识别框中心点及识别框的长与宽。
25、基于上述方案的进一步优化，所述步骤a3中单值连通域的宽度差值比较，获得对应目标果实的采摘点的具体方法为：先将相邻水平方向上的宽度值进行两两相减、获得宽度差值 △xi（ i=0,1,2,…,9），对宽度差值进行相互比较：以 △xi开始递减时的值作为判断起始点，当连续的三个宽度差值（如：）的标准差大于三像素时，则判定 △xi对应的连通域为采摘点；若始终未找到满足标准差条件的点，则直接判定最终的 △x9所对应的连通域为采摘点。
26、基于上述方案的进一步优化，所述步骤b具体方法为：
27、步骤b1、在风力作用下遮挡果实会偏移，伴随带动采摘点的下幅度偏移，为进行对采摘点的精准夹剪，实时记录二者的运动轨迹，并分析预测二者运动轨迹；在实际采摘过程中遮挡果实运动为先大幅度偏移、再进行极小幅度往复运动，采摘点为小幅度偏移；利用双目立体相机获取采摘点和遮挡果实的世界坐标，对图像实时截图记录二者的运动轨迹，获取二者运动方向和运动矢量：
28、
29、式中：表示遮挡果实的运动轨迹；表示采摘点的运动轨迹；表示遮挡果实与采摘点之间的相对运动关系； i、j、k分别表示采摘点和遮挡果实在x轴、y轴、z轴的运动分量；
30、步骤b2、随机计算机试验中的概率分布输入通常具有有限支撑和一定的连续性，因此，以末端执行器的尺寸为阈值、对空间赋予wasserstein距离：
31、
32、式中：为常数且；
33、该空间在赋予了wasserstein距离后，即可类似欧氏空间中基于距离的空间填充设计，定义相应的空间填充性准则，对任意支撑在[0,1]上分布函数f,取自然数m （m的取值较大），采用分段线性函数逼近：
34、
35、式中： i为示性函数；
36、因此，的函数可以用（m-1）维空间近似，即：
37、
38、式中： an表示第𝑛个分段的分布函数值；
39、即中求解最大wasserstein距离为：
40、
41、获得遮挡果实与采摘点之间的最大距离，为机械臂运动轨迹规划做准备，当二者之间的距离达到最大值时，进行采摘点预测。
42、基于上述方案的进一步优化，所述步骤c具体方法为：
43、步骤c1、当步骤b中的遮挡果实与采摘点之间的距离达到运转峰值时，单目视觉相机记录采摘点和遮挡果实之间的运动矢量，并通过控制采摘机械臂，并通过机器人运动学原理中的d-h（ denavit-hartenberg）矩阵变换算法规划末端执行器的运动轨迹；
44、步骤c2、采摘机械臂运动到预测采摘点的运动轨迹规划选用5次多项式插值法来进行轨迹规划，通过各个关节角随时间变化的函数调节末端执行器由初始位姿变换到预测采摘点的位姿：
45、
46、其中， t0时刻为初始位姿、 tf时刻为设定的目标位姿，且 t0时刻的转角为、 tf时刻的转角为，则：
47、
48、同时：
49、
50、采摘机器人的末端执行器从初始位置运动到采摘点位置，末端执行器对采摘点进行夹剪，完成采摘。
51、基于上述方案的进一步优化，所述步骤c1中通过机器人运动学原理中的d-h矩阵变换算法规划末端执行器的运动轨迹具体方法为：
52、采摘机械臂由四个关节组成，每个关节的运动由一个独立的dh参数描述，包括关节角度、关节偏移 di、连杆长度 ui与连杆扭转角：
53、
54、依次计算每个关节的变换矩阵、并将它们相乘得到末端执行器的总体变换矩阵：
55、
56、式中： ti表示第 i个关节的变换矩阵，i=1,2,3,4；
57、末端执行器相对于基坐标系的变换矩阵 t0为：
58、
59、设定末端执行器的变换矩阵 ttarget，通过逆运动学求解对应的关节角度。
60、以下是本发明方案所具备的技术效果：
61、本技术通过双目立体相机与单目视觉相机的配合，利用设置在采摘机械臂末端的双目立体相机实现对被遮挡的成熟串型水果（即目标果实）、遮挡果实、采摘点等进行识别，并通过设置在移动底盘上的吹气组件完成对遮挡果实的吹飞，实现目标果实与遮挡果实之间的分离、避免采摘过程中遮挡果实阻挡导致的错采、漏采、误采等问题，实现精确化采摘；通过双目立体相机获取采摘点与遮挡果实之间的距离，并基于时间戳与连续图像帧的采集、实现采摘点和遮挡果实之间运动矢量的分析，获取二者间相对运动关系，从而通过两者之间的距离最大值获取采摘时刻，有效避免采摘目标果实的过程中、采摘机械臂与末端执行器受到往复运动的遮挡果实的影响，实现遮挡物吹飞的复杂运动过程中的精准化采摘，避免由于吹飞过程导致目标果实、遮挡果实等运动而出的难以采摘或采摘失败等问题；之后，依据机器人运动学原理中的d-h矩阵变换算法规划末端执行器最优的运动轨迹，完成对目标果实的采摘，避免末端执行器采摘过程中对果实的损伤以及由于果实遮挡而出现的错采、漏采等问题。此外，本技术通过双目立体相机与单目视觉相机的独立工作、利用大视场画面与小视场画面之间的配合，能够有效的控制采摘机械臂的运动，确保末端执行器按最优路径移动，提高采摘精度、提升采摘效率。