本发明涉及图像识别与成串果实采摘机器人，具体涉及一种基于深度学习的成串果实识采摘方法。
背景技术：
1、成串果实类作物的规模化种植对采收效率与作业质量提出了更高要求。此类作物普遍存在果穗密集、果梗纤细且与茎蔓颜色相近的特征，如串番茄、提子、葡萄等，自然生长环境下成串果实空间朝向复杂多变，对机械臂末端执行器采收姿态自适应调整提出了挑战。
2、成串果实类作物中，串番茄的人工采摘作业季节性强、劳动强度大，随着番茄种植面积扩大，劳动成本逐年提高，机器人代替人工的串番茄智能采摘是未来的发展方向。
3、针对现有串番茄识别采摘技术上果梗纤细且与背景颜色相近增加了采摘点识别定位难度、番茄植株主茎自由生长形成非结构化环境增加机械臂安全无损采摘难度。如授权公告号为cn116034732b的一种串番茄模糊采摘方法中，先预设三种末端执行器姿态，再根据果实和果梗两类目标模糊预测果穗方向并引导机械臂完成采摘任务。在描述串番茄的姿态时可以引入对主茎的识别，以便更准确地刻画串番茄相对主茎的生长方向，进而末端执行器的采摘姿态可以从固定的三种扩充至根据预测的串番茄相对主茎的生长方向实时求解而来的若干种，增强采摘机器人的自适应性与灵活性；且识别出的主茎丰富了采摘机器人环境感知信息更利于机械臂进行避障与无损采摘；而引入yolov8-seg分割算法识别出果梗的掩膜并细化提取采摘点的方法有助于提高采摘点定位精度，增加机器人采摘成功率。
技术实现思路
1、本发明的目的在于提供一种基于深度学习的成串果实识采摘方法，结合深度学习与机器人技术，克服现有技术的不足。
2、一种基于深度学习的成串果实识别与采摘方法，其包括以下步骤：
3、(1)使用rgb-d相机作为视觉传感器获取成串果实植株的彩色图和深度图；
4、(2)基于深度学习算法识别出拍摄的彩色图中的果实、果梗与主茎三类目标；
5、(3)根据果实与果梗、果梗与主茎的连通关系，筛选出果实与果梗有交集且果梗与主茎也有交集的成串果实作为可采摘对象；
6、(4)将识别并筛选得到的可采摘对象中的果梗和主茎两个类别的掩膜通过形态学细化操作处理成果梗骨骼图和主茎骨骼图，并利用果梗骨骼图提取采摘点、利用主茎骨骼图提取主茎点；
7、(5)结合深度图计算出采摘点、主茎点的空间三维坐标，并构建由主茎点指向采摘点的向量，作为预测的成串果实相对主茎的生长方向；
8、(6)机械臂根据预测的成串果实生长方向控制末端执行器以合适的姿态进行无损采摘。
9、优选地，步骤(2)中，所述的对彩色图进行识别的深度学习算法采用yolov8-seg分割算法。
10、优选地，步骤(3)中，所述的连通关系采用iou计算判断，将果实与果梗的检测框进行iou计算，结果记为ioutomato_stem，将果梗与主茎的检测框进行iou计算，结果记为ioustem_trunk，当ioutomato_stem＞0并且ioustem_trunk＞0时，筛选出位于一株主茎上的同属一串的果实与果梗。
11、优选地，步骤(4)中，从果梗和主茎掩膜上提取出采摘点和主茎点具体包括：
12、s1、将识别并筛选得到的可采摘对象中的果梗和主茎两个类别的掩膜通过zhang-suen细化算法处理成果梗骨骼图和主茎骨骼图；
13、s2、在果梗骨骼图上做一条水平中心线，将水平中心线与细化后的果梗骨骼的交点作为采摘点；
14、s3、提取出采摘点后，在彩色图上做一条经过采摘点的水平线并与x后的主茎骨骼相交，交点取为主茎点。
15、优选地，步骤s1中，果梗骨骼图的宽高像素大小与深度学习算法识别出的果梗的检测框的宽高像素大小一致，主茎骨骼图的宽高像素大小与深度学习算法识别出的主茎的检测框的宽高像素大小一致。
16、优选地，步骤s2中，采摘点在拍摄的彩色图上的二维坐标ppick(upick,vpick)可由采摘点在果梗骨骼图上读取的交点坐标(u1,v1)结合果梗骨骼图在彩色图上的相对位置(uleft1,vleft1)求得，而深度学习算法识别出的果梗所记录的位置信息是果梗的检测框中心点相对彩色图左上角点的坐标(ucenter1,vcenter1)，需借助果梗的检测框的宽高像素大小(w1,h1)转换为果梗的检测框左上角点相对彩色图左上角点的坐标，即果梗骨骼图在彩色图上的相对位置(uleft1,vleft1)，详细公式如下：
17、
18、其中，(uleft1,vleft1)为深度学习算法识别出的果梗的检测框的左上角点相对彩色图左上角点的坐标，(ucenter1,vcenter1)为深度学习算法识别出的果梗的检测框中心点相对彩色图左上角点的坐标，(w1,h1)为深度学习算法识别出的果梗的检测框的宽高像素大小，(upick,vpick)为采摘点相对原彩色图左上角点的坐标，(u1,v1)为果梗骨骼图中提取的采摘点相对果梗骨骼图自身左上角点的坐标，可在水平中心线与细化后的果梗骨骼产生交点时直接读取。
19、优选地，步骤s3中，主茎点在彩色图上的二维坐标ptrunk(utrunk,vtrunk)中的vtrunk与vpick相等，而utrunk可由以下公式求得：
20、
21、其中，uleft2为深度学习算法识别出的主茎的检测框的左上角点相对彩色图左上角点的横向坐标，ucenter2为深度学习算法识别出的主茎的检测框中心点相对彩色图左上角点的横向坐标，w2为深度学习算法识别出的主茎的检测框的宽像素大小，utrunk为主茎点相对原彩色图左上角点的横向坐标，u2为主茎骨骼图中提取的主茎点相对主茎骨骼图自身左上角点的横向坐标，可在水平线与细化后的主茎骨骼产生交点时直接读取。
22、优选地，步骤(5)中，结合拍摄的深度图上的深度值与相机内参可求得采摘点和主茎点在相机坐标系中的三维坐标，再结合相机与机械臂标定的转换矩阵可求得采摘点和主茎点在机械臂坐标系中的三维坐标分别记为ppick(xpick,ypick,zpick)和ptrunk(xtrunk,ytrunk,ztrunk)，构建由主茎点指向采摘的向量作为预测的成串果实相对主茎的生长方向。
23、优选地，步骤(6)中，控制末端执行器以合适的姿态进行无损采摘是以末端执行器轴线方向垂直于预测的成串果实相对主茎的生长方向的姿态进行采摘，避免末端执行器与主茎干涉。
24、与现有技术相比，本发明具有如下的有益效果：
25、1、本发明在描述成串果实的姿态时，引入对果梗和主茎的两类关键目标的识别，可以更准确地刻画成串果实相对主茎的生长方向。
26、2、本发明根据预测的成串果实相对主茎的生长方向实时计算合适的末端执行器的采摘姿态，增强采摘机器人的自适应性与灵活性，且识别出的主茎丰富了采摘机器人环境感知信息更利于机械臂进行避障与无损采摘。
27、3、本发明引入深度学习算法中的yolov8-seg分割算法，识别并分割出果梗的掩膜并细化提取采摘点，相比仅识别出果梗的检测框更利于提高采摘点定位精度，增加机器人采摘成功率。