一种基于深度学习的夹剪一体串果采收装置及其应用

本发明属于农业机械领域，具体涉及一种基于深度学习的夹剪一体串果采收装置及其应用。

背景技术：

1、目前水果采摘机械主要分为单果采摘机械和串果采摘机械，前者结构简单，但每次动作执行只能采收一个果实，采摘效率低下；后者能以较高效率采收，但果梗的夹持和切割动作往往需要两个或以上的驱动装置，存在结构复杂、重量大、维护困难等问题。专利202211147213.8公开了一种搭载末端执行器的水果采摘机器人，机械结构包括车体、采摘机械臂、末端执行器，其末端执行器选用气动机械手爪，通过剪断果梗、夹持果梗的方式完成采摘；但是，该末端执行器外接气泵，通过气动驱动来挤压切断果梗，为保证果梗切断成功率，需要搭载气压较大的气泵以及驱动装置，导致结构复杂且体积较大，夹持果梗容易发生滑移，直接影响切割效率。

技术实现思路

1、本发明的目的在于克服现有技术中存在的缺点，提供一种基于深度学习的夹剪一体串果采收装置及其应用，本发明的装置结构简单，只需单个电机进行驱动即可实现夹持和剪切动作，果梗夹持稳定，剪切能力强，剪切成功率高。

2、本发明的目的通过下述技术方案实现：

3、一种基于深度学习的夹剪一体串果采收装置，包括末端执行器1、机械臂2、收集框3、工控机4、视觉识别模块、支撑平台；末端执行器位于机械臂的末端，机械臂和工控机安装在支撑平台上，收集框位于支撑平台的前方。

4、所述末端执行器1，包括裁切机构、夹持机构。

5、所述裁切机构，包括裁切刀片9、月牙带齿刀片15、基板10、刀片加固板7、连杆8；裁切刀片9的下方连接有两个下方连杆8，一个下方连杆的另一端与基板10相连接，另一个下方连杆的另一端与电机传动轴11相连接；裁切刀片9的上方连接有一个连杆，上方连杆的另一端与刀片加固板7相连接；刀片加固板7的下端与基板10相连接；月牙带齿刀片15直接与基板连接。

6、本发明裁切机构的工作原理是：裁切刀片9、基板10和两个下方连杆形成一个平行四边形双曲柄机构，裁切刀片9的上方连杆则作为平行杆，避免了平行四边形机构的四个杆处于同一直线位置时，从动件的运动不确定的现象发生，当步进电机13通过电机传动轴11驱动下方连杆8时，裁切刀片9将以上方连杆的另一端为圆心、上方连杆的长为半径的圆的轨迹做平行运动。当电机通电工作时，裁切刀片9的运动速度可分为指向串果枝条轴心的速度分量以及与刀刃同向的速度分量，从而对枝条产生拉伸力和剪切力。而现有的绝大部分末端执行器仅通过单一地产生剪切力或拉伸力来进行裁切，前者的作业效率高但裁切能力低下且对刀具以及驱动元件的功率要求较高，后者的裁切能力优秀但作业效率较低且同样对驱动元件的功率要求较高。而本发明的裁切机构则将两者的工作方式结合，实现以较低的硬件要求兼具两者的优势。

7、所述夹持机构，包括基板10、凸轮12、步进电机13、凸轮压板19、弹簧17、夹持垫连接杆18、夹持垫16、电机传动轴11、电机固定板20；步进电机13安装在电机固定板20上，电机固定板20固定在基板10上，凸轮12与电机传动轴11相连接，凸轮压板19通过两个夹持垫连接杆18分别与两个夹持垫16相连接，夹持垫连接杆18上套有弹簧17。

8、所述夹持垫16为软性硅胶材料，夹持面上设计有树蛙脚掌仿生纹路，覆盖有棱柱，棱柱以六边形的形状排列，且棱柱顶部设计有半圆形凹槽。

9、本发明夹持机构的工作原理是：当步进电机13工作时，通过电机传动轴11驱动凸轮12转动，从而驱动凸轮压板19，凸轮压板19的运动规律由凸轮12的轮廓外形决定。当矢径变化的凸轮12轮廓与凸轮压板19接触时，凸轮压板19产生往复运动；而当以凸轮12回转中心为圆心的圆弧段轮廓与凸轮压板19接触时，凸轮压板19将静止不动。因此，随着凸轮12的连续转动，凸轮压板19可获得间歇的、按照预期规律的运动，从而实现通过同一个步进电机同时驱动裁切机构和夹持机构，实现裁切刀片9与夹持垫16的异步运动，使串果果梗在裁切开始前就已经由夹持垫16固定，增加裁切的稳定性和成功率，再通过裁切刀片9裁切果梗；当裁切刀片9完成裁切行程后，夹持垫16仍保持夹持状态，当机械臂移动到指定位置后，通过控制步进电机13执行夹持垫16松开动作。

10、所述的视觉识别模块，包括双目相机6；双目相机6固定在连接板14上，连接板14与基板10相连接。所述双目相机6包括两个相机镜头、相机感光元件、相机处理器；相机感光元件通过相机镜头接收外界光信号，将光信号转换为电信号传输给相机处理器；相机处理器将电信号处理成图像信息，将图像信息传输给工控机。工控机通过改进的yolov5算法识别出图像信息中的串果果实以及需要裁切和夹持的果梗。

11、一种基于深度学习的夹剪一体串果采收方法，是采用上述的装置，包括下述步骤：

12、(1)获取当前视野的图像：采用双目相机拍摄当前位置下左右镜头的图像；

13、(2)果实串果识别：以拍摄到的图像中的左视图为基准，在工控机中利用训练好的改进yolov5深度学习网络识别出左视图中的所有串果，并在图像中从左到右给每一串串果赋予序号，然后计算出每一串串果最小外接矩形框的长、宽以及中心点；

14、(3)获得串果的三维坐标：用张正友双目标定法对双目相机进行双目标定，获得本征矩阵、内参矩阵、旋转矩阵、畸变系数等双目标定参数；在识别出串果后，利用标定得到的内参矩阵、旋转矩阵、畸变系数对相机的左右图像进行外极线校准，得到校准后的左右校准视图，然后利用sgbm算法对左右校准视图进行立体匹配得到视差图；将串果的最小外接矩形框内对应的视差图像素与双目标定得到的本征矩阵相乘得到串果每一个像素点真实世界的三维坐标，从而获得每一串串果的三维坐标；

15、(4)末端执行器移动至预采摘位置：获得每一串串果的三维坐标后，工控机对机械臂姿态进行运动学正逆解，计算出机械臂与行走底盘的轨迹规划，将末端执行器移动到与串果同一水平线上，再进行步骤(2)，近距离获得串果图像；

16、(5)裁切点确认：对近距离获得的串果图像进行串果目标识别，以目标串果外接矩形框中心为顶点，构建一个顶角为150度、高为串果外接框宽的等边三角形区域作为感兴趣区域，提取出包含果梗目标的图像区域，并进行果梗检测，以果梗检测框的中心作为裁切点；

17、(6)到达裁切点：工控机将计算得到的裁切点的真实世界的三维坐标转换成机械臂基座标下的三维坐标，控制机械臂带动末端执行器到达裁切点；

18、(7)夹持果梗：工控机控制步进电机13使凸轮12旋转90度，在凸轮12的驱动下，凸轮压板19使夹持垫16夹持果梗，同时裁切刀片9移动到裁切初始位置；

19、(8)裁切果梗：工控机控制步进电机13的输出轴旋转180度，使裁切刀片9执行裁切动作，裁切刀片9与月牙带齿刀片15上的齿刃将对果梗进行裁切，裁切完成后裁切刀片9移动到裁切结束位置，同时在凸轮12的作用下夹持垫16保持夹持果梗；

20、(9)将串果放置到指定位置：工控机控制机械臂带动末端执行器移动到预设位置后，控制步进电机13使凸轮12旋转90度，此时夹持垫连接杆18上的弹簧17使夹持垫16松开果梗，串果落到指定收集框。

21、步骤(2)中，所述改进yolov5深度学习网络，是对yolov5串果识别网络进行改进，在yolov5的主干网络中存在4个主要对网络传递的向量中的残差特征进行学习的结构块，在第四个结构块中加入注意力机制的ca注意力模块，所述ca注意力模块不仅能够对网络中运算的向量中提取不同通道间向量的信息，还能够在长距离的向量运算中提取位置信息，能够通过训练使得网络对复杂环境中的串果和果枝目标的信息更加敏感，从而获得准确率更高的识别表现。

22、步骤(5)中，果梗检测的原理是：由于复杂环境下可能包含枯树枝等与果梗高度相似的伪果梗，为提高果梗检测的准确度，本发明首先采用yolov5网络识别出特征明显的串果目标，获得串果目标在图像中的位置，同时以串果的预测框的中心为起点，向上构建一个以2倍预测框宽为高的，顶角为150度的等边三角形作为目标果梗存在的感兴趣区域，因为越大的感兴趣区域越有可能出现伪果梗，所以本文选择以三角形的形状用于构建果梗的感兴趣区域，以规避伪果梗出现在感兴趣区域的情况；然后提取出感兴趣区域的图像，并将图像以黑色像素补全为一个矩形图片用于yolov5检测目标果梗，得到果梗的预测框，并将果梗的预测框中心作为该果梗的位置。

23、本发明与现有技术相比具有如下优点和效果：

24、(1)本发明在串果的识别上运用了深度学习网络，相比其他使用传统算法的方案，深度学习网络识别方案具有识别速度快、能适应不同光照环境、误识别概率低等优点，提高采摘工作效率。

25、(2)本发明的使用单个步进电机实现夹持和裁剪异步；区别于现有技术是夹持裁切同步和双电机驱动夹持裁切的技术方案，本发明仅通过单个电机即可使夹持和裁剪动作异步进行，简化了末端执行器的结构，减轻了末端执行器的重量，降低了对机械臂的负载要求，扩大了工作机械臂的选择范围。

26、(3)本发明的裁切刀片工作时是沿着以上方连杆的另一端为圆心，上方连杆的长为半径圆的轨迹做平行运动，工作时的运动速度可分为垂直指向串果枝条轴的速度分量以及与刀刃同向的速度分量，使裁切刀片划行枝条产生拉伸力和挤压枝条产生剪切力。相比现有仅通过单一地产生剪切力或拉伸力来进行裁切的末端执行器，本发明兼具裁切性能和裁切效率。

27、(4)本发明的夹持机构采用了凸轮机构，末端执行器工作中的夹持阶段，由于凸轮机构具有自锁能力，无需为维持夹持动作而保持电机通电状态，降低了供电要求的同时保持夹持性能。

28、(5)本发明的夹持机构采用了软性硅胶材料，夹持面上设计有树蛙脚掌仿生纹路，覆盖有棱柱，棱柱以六边形的形状排列，且棱柱顶部设计有半圆形凹槽，在受到果梗的挤压时会发生弹性形变，形成微小吸盘，能够在末端执行器进行剪切动作前提供压力和摩擦力，固定果梗和保护果梗的同时产生足够的摩擦力，确保串果不会因果梗被裁断而掉落。