一种球形果实采摘方法及系统与流程

1.本发明涉及智能农机装备采摘控制技术领域，特别是涉及一种球形果实采摘方法及系统。


背景技术：

2.设施农业作为典型的劳动密集型产业，其采摘环节仍然大量依赖人工来进行，但是人工采摘存在效率低、温室环境不适宜人工作业等问题，且随着我国社会经济发展，用人成本大幅度提升，因此机械取代人工进行收获成为趋势。设施球形作为温室中较为常见的种植作物，且其果实容易区分，国内外学者对球形果实采摘有了一定的研究。已有研究中，对于球形果实定位采用激光、机器视觉等方式提取果实三维坐标，进而运用末端执行器进行剪切、旋拧、吸附等动作实现球形果实的采摘。采用电动多指夹爪进行果实爪取是较为常用的一种方法，但是手爪开合角度对果实采摘成功率与破损率有一定影响，当开合角度过大时容易造成果实损伤，当开合角度过小容易造成果实脱落，因此采摘手爪开合角度需与果实大小进行匹配。因此，如何准确的控制电动夹爪达到适合的开合角度是本领域亟需解决的问题。对此，本发明提出了一种球形果实采摘方法及系统。


技术实现要素：

3.本发明的目的是提供一种球形果实采摘方法及系统，能够准确的控制电动夹爪达到目标开合角度，从而实现球形果实的精准采摘。
4.为实现上述目的，本发明提供了如下方案：一种球形果实采摘方法，包括：利用采摘装置上的图像采集机构获取球形果实植株和球形果实的图像并根据所述图像确定球形果实三维坐标和球形果实直径；根据所述球形果实三维坐标和所述球形果实直径确定所述采摘装置上机械臂一端的电动夹爪的目标采摘位置坐标；确定所述电动夹爪与所述球形果实相切时的所述电动夹爪的目标开合角度；根据所述目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值；根据所述移动位移值计算所述电动夹爪的夹持步进电机的第一转动角度；根据所述第一转动角度计算所述电动夹爪上的旋拧步进电机的第二转动角度；根据所述电动夹爪的所述目标采摘位置坐标、所述第一转动角度和所述第二转动角度控制所述采摘装置及所述电动夹爪进行所述球形果实的采摘。
5.可选的，所述根据所述球形果实的三维坐标和所述果实直径确定所述采摘装置上机械臂的电动夹爪的目标采摘位置坐标，具体包括：
（x
cam
、y
cam
、z
cam
）表示球形果实坐标；(x
arm
、y
arm
、z
arm
)表示电动夹爪的目标采摘位置坐标；表示变换矩阵；k表示球形果实直径的补偿系数；r表示球形果实直径。
6.可选的，所述确定所述电动夹爪与所述球形果实相切时的所述电动夹爪的目标开合角度，具体包括：定义所述电动夹爪的夹爪安装架与对应的软体夹爪安装座的连接点为第一连接点；定义软体夹爪安装座与对应的推杆的连接点为第二连接点；定义所述第一连接点和所述第二连接点的连接延长线与软体夹爪内侧边直线延长线的交点为第三连接点；计算所述第一连接点和所述第三连接点之间的第一距离值；获取经过所述球形果实的球心的第一水平直线和垂直直线，并定义第二水平直线与所述垂直直线的交点为第四连接点；所述第二水平直线为经过所述第一连接点的且平行于所述第一水平直线的水平直线；计算所述第一连接点与所述第四连接点之间的第二距离值；定义所述第二水平线与所述软体夹爪内侧边直线延长线的交点为第五连接点；计算所述第五连接点和第四连接点之间的第三距离值；定义第一连接点与第二连接点构成的直线的延长线与所述软体夹爪内侧边直线延长线的锐角为第一夹角；构建所述第一距离值、第二距离值、第三距离值、所述球形果实直径和所述第一夹角之间的关系表达式；根据所述关系表达式计算第二夹角和第三夹角；所述第二夹角为所述球形果实的球心与第五连接点构成的直线与第五连接点与第四连接点构成的直线之间的锐角；所述第三夹角为所述球形果实的球心与第五连接点构成的直线与所述软体夹爪内侧边直线延长线之间的锐角；根据所述第一夹角、所述第二夹角和所述第三夹角计算所述电动夹爪的所述目标开合角度。
7.可选的，构建所述第一距离值、第二距离值、第三距离值、所述球形果实直径和所述第一夹角之间的关系表达式具体包括：式中，r表示球形果实直径；l
ab
表示第一距离值；l
af
表示第二距离值；x表示第三距离值；表示第一夹角；k表示球形果实直径的补偿系数。
8.可选的，计算所述电动夹爪的所述目标开合角度的表达式为：
式中，表示目标开合角度；表示所述第二夹角；表示第三夹角。
9.可选的，所述根据所述目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值，具体包括：计算所述第一连接点至所述第二连接点的第四距离值；计算所述电动夹爪上的推杆与对应的夹爪安装架的水平距离值为第五距离值；定义所述电动夹爪上的推杆与推杆平台的连接点为第六连接点；并计算第六连接点至所述第二连接点之间的第六距离值；根据所述目标开合角度、所述目标开合角度最小值、所述第四距离值、所述第五距离值和所述第六距离值计算所述电动夹爪上的推杆的移动位移值。
10.可选的，计算所述电动夹爪上的推杆的移动位移值的表达式为：式中，b为推杆的移动位移值；表示第四距离值；h表示第五距离值；表示第六距离值；表示目标开合角度最小值。
11.可选的，计算所述电动夹爪的夹持步进电机的第一转动角度的表达式为：式中，表示第一转动角度；p为夹持步进电机丝杆螺距。
12.可选的，计算所述电动夹爪上的旋拧步进电机的第二转动角度的表达式为：；式中，k2为软体夹爪补偿系数。
13.本发明还提供一种球形果实采摘系统，包括：果实坐标和果径获取模块，用于利用采摘装置上的图像采集机构获取球形果实植株和球形果实的图像并根据所述图像确定球形果实的三维坐标和果实直径；采摘目标位置获取模块，用于根据所述球形果实的三维坐标和所述果实直径确定所述采摘装置上机械臂一端的电动夹爪的目标采摘位置坐标；目标开合角度确定模块，用于确定所述电动夹爪与所述球形果实相切时的所述电动夹爪的目标开合角度；移动位移计算模块，用于根据所述目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值；第一传动角度确定模块，用于根据所述移动位移值计算所述电动夹爪的夹持步进电机的第一转动角度；第二转动角度确定模块，用于根据所述第一转动角度计算所述电动夹爪上的旋拧步进电机的第二转动角度；
控制采摘模块，用于根据所述电动夹爪的所述目标采摘位置坐标、所述第一转动角度和所述第二转动角度控制所述采摘装置及所述电动夹爪进行球形果实的采摘。
14.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明涉及一种球形果实采摘方法及系统，包括：利用获取球形果实植株和球形果实的图像并确定球形果实的三维坐标和果实直径，进而确定电动夹爪的目标采摘位置坐标；确定电动夹爪与球形果实相切时的电动夹爪的目标开合角度；根据目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值并计算电动夹爪的夹持步进电机的第一转动角度和旋拧步进电机的第二转动角度；根据电动夹爪的目标采摘位置坐标、第一转动角度和第二转动角度控制采摘装置及电动夹爪进行球形果实的采摘。本发明中，通过预先计算电动夹爪的目标开合角度进而确定夹持步进电机的转动角度和旋拧步进电机的转动角度，实现了果实采摘的精准控制。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例1提供的一种球形果实采摘方法流程图；图2为本发明实施例1提供的电动夹爪的第一结构图；图3为本发明实施例1提供的电动夹爪的第二结构图；图4为本发明实施例1提供的电动夹爪结构中各连接点示意图；图5为本发明实施例1提供的电动夹爪结构的最小开合角度示意图；图6为本发明实施例1提供的电动夹爪结构的最大开合角度示意图；图7为本发明实施例2提供的一种球形果实采摘系统框图。
17.附图标记：1-旋拧步进电机；2-电滑环；3-夹爪安装架；4-推杆平台；5-丝杆螺母；6-夹持步进电机；7-推杆；8-软体夹爪安装座；9-球形果实；10-软体夹爪；a-第一连接点；b-第三连接点；c-第五连接点；d-相切点；e-球心；f-第四连接点；g-第二连接点；h-第六连接点。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的目的是提供一种球形果实采摘方法及系统，能够准确的控制电动夹爪达到目标开合角度，从而实现球形果实的精准采摘。
20.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
21.实施例1
如图1所示，本实施例提供一种球形果实采摘方法，所述采摘方法基于图2所示的电动夹爪结构实现。本实施采摘方法针对的是三指柔性自适应机械爪，产品型号fa3m100r15m，生产公司为东莞易爪机器人科技有限公司。
22.如图2和3所示，电动夹爪包括旋拧步进电机1，电滑环2，夹爪安装架3，推杆平台4，丝杆螺母5，夹持步进电机6，推杆7，软体夹爪安装座8，果实9和软体夹爪10。
23.旋拧步进电机1轴端与夹爪安装架3之间通过轴孔配合进行固定，电滑环2通过螺钉固定在夹爪安装架3上且与旋拧步进电机1之间无相互接触；夹持步进电机6与夹爪安装架3之间通过螺钉连接，其夹持步进电机输出轴端为丝杆结构并与丝杆螺母5相连，丝杆螺母5另一侧与推杆平台4通过螺钉连接；推杆平台4通过销钉与推杆7连接；推杆7与软体夹爪安装座8通过销钉连接；软体夹爪安装座8与夹爪安装架3通过销钉连接，软体夹爪安装座8与软体夹爪10之间通过螺钉固定。
24.旋拧步进电机1、夹持步进电机6分别通过旋拧步进电机驱动器和夹持步进电机驱动器控制。
25.旋拧步进电机驱动器与旋拧步进电机1之间通过二相四线直接连接，夹持步进电机驱动器通过两相四线与电滑环2连接，电滑环2通过两相四线与旋拧步进电机1连接（解决夹爪旋转时绕线问题）。
26.基于电动夹爪实现球形果实采摘方法，所述的球形果实既可以是标准球形，也可以是类似球形。
27.所述方法具体包括：s1：利用采摘装置上的图像采集机构获取球形果实植株和球形果实的图像并根据所述图像确定球形果实三维坐标和球形果实直径。
28.本实施例中的采摘装置上设置有深度学习功能的视觉捕捉系统，视觉捕捉系统包括rgb-d功能的深度相机、工控机、电动夹爪、机械臂和路由器。深度相机和电动夹爪与主控机通过数据线连接。机械臂通过路由器与工控机连接。工控机、路由器和机械臂安装在采摘装置的底盘上。机械臂的一端安装在底盘上，另一端设置电动夹爪。深度相机，安装在采摘装置的车体上，用于采集球形果实植株和球形果实的图像并传输给工控机。工控机根据球形果实植株和球形果实的图像计算球形果实植株的三维坐标和果实直径。
29.s2：根据所述球形果实三维坐标和所述球形果实直径确定所述采摘装置上机械臂一端的电动夹爪的目标采摘位置坐标。
30.步骤s2中的目标采摘位置坐标是由工控机计算得出，工控机将计算出后向机械臂和电动夹爪发生控制指令，使得机械臂运动并带动电动夹爪至球形果实目标采摘位置。
31.步骤s2中，确定所述采摘装置上机械臂的电动夹爪的目标采摘位置坐标的表达式为：式中，（x
cam
、y
cam
、z
cam
）表示球形果实坐标；(x
arm
、y
arm
、z
arm
)表示电动夹爪的目标采摘位置坐标；表示变换矩阵；k表示球形果实直径的补偿系数；r表示球形果实直径。
32.s3：确定所述电动夹爪与所述球形果实相切时的所述电动夹爪的目标开合角度。
图4中，d点为软体夹爪10与球形果实的相切点。电动夹爪的目标开合角度指第一连接点a和第二连接点g构成的直线与对应的夹爪安装架的末端之间的锐角。
33.其中，步骤s3具体包括：如图4所示：（1）定义所述电动夹爪的夹爪安装架与对应的软体夹爪安装座的连接点为第一连接点a。软体夹爪安装座8绕a点旋转。
34.定义软体夹爪安装座与对应的推杆的连接点为第二连接点g。软体夹爪安装座8绕g点旋转。
35.定义所述第一连接点a和所述第二连接点g的连接延长线与软体夹爪内侧边直线延长线的交点为第三连接点b。
36.（2）计算所述第一连接点a和所述第三连接点b之间的第一距离值l
ab
。
37.（3）获取经过所述球形果实的球心e的第一水平直线和垂直直线，定义第二水平直线与所述垂直直线的交点为第四连接点f；所述第二水平直线为经过所述第一连接点a的且平行于所述第一水平直线的水平直线。
38.（4）计算所述第一连接点a与所述第四连接点f之间的第二距离值l
af
。
39.（5）定义所述第二水平线与所述软体夹爪内侧边直线延长线的交点为第五连接点c。
40.计算所述第五连接点c和第四连接点f之间的第三距离值l
cf
。
41.定义第一连接点a与第二连接点g构成的直线的延长线与所述软体夹爪内侧边直线延长线的锐角为第一夹角。
42.（6）构建所述第一距离值l
ab
、第二距离值l
af
、第三距离值l
cf
、所述球形果实直径和所述第一夹角之间的关系表达式。
43.其中，第一距离值l
ab
、第二距离值l
af
、第三距离值l
cf
、所述球形果实直径和所述第一夹角均为测量值。
44.下面结合图4说明步骤（6）中的关系表达式的推导过程：设l
cf
为x，根据三角形关系可得：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀ
（2）在三角形abc中：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）将公式（1）、（2）和（4）带入公式（3）后化简得到r与x关系。
45.构建的关系表达式为：
式中，r表示球形果实直径；l
ab
表示第一距离值；l
af
表示第二距离值；x表示第三距离值l
cf
；表示第一夹角；k表示球形果实直径的补偿系数。
46.（7）根据所述关系表达式计算第二夹角和第三夹角；所述第二夹角为所述球形果实的球心e与第五连接点c构成的直线与第五连接点c与第四连接点f构成的直线之间的锐角；所述第三夹角为所述球形果实的球心e与第五连接点c构成的直线与所述软体夹爪内侧边直线延长线之间的锐角。
47.当在关系表达式中输入一个球形果实直径r时，即可求得第二夹角和第三夹角。
48.（8）根据所述第一夹角、所述第二夹角和所述第三夹角计算所述电动夹爪的所述目标开合角度。图4中，第一夹角、所述第二夹角即为角fce，所述第三夹角即为角dce。
49.其中，计算所述电动夹爪的所述目标开合角度的表达式为：式中，表示目标开合角度；表示所述第二夹角；表示第三夹角。
50.在步骤s3中定义的各连接点可以是预先通过人工在对应位置处做好标注。第一距离值l
ab
、第二距离值l
af
和第三距离值l
cf
也可以是预先计算得出后存储在工控机中。所述第一夹角、所述第二夹角和所述第三夹角也可以是预先做好定义。第一夹角、第一距离值l
ab
、第二距离值l
af
为已知值。图4中，l
ef
=kr。
51.s4：根据所述目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值b。如图5所示，当电动夹爪完全张开，如图5所示的虚线位置，此时为目标开合角度最小值。如图6所示，当电动夹爪的爪尖相触碰时，此时为目标开合角度最大值。是丝杆螺母位于夹持电机轴端时的夹角，是丝杆螺母位于夹持电机端时的夹角。。
52.其中，步骤s4具体包括：（1）计算所述第一连接点a至所述第二连接点g的第四距离值l
ag
；（2）计算所述电动夹爪上的推杆与对应的夹爪安装架的水平距离值为第五距离值h；（3）定义所述电动夹爪上的推杆与推杆平台的连接点为第六连接点h；如图5所示。并计算第六连接点h至所述第二连接点g之间的第六距离值l
hg
；（4）根据所述目标开合角度、所述目标开合角度最小值、所述第四距离值l
ag
、所述第五距离值h和所述第六距离值l
hg
计算所述电动夹爪上的推杆的移动位移值b。
53.其中，计算所述电动夹爪上的推杆的移动位移值的表达式为：式中，表示第四距离值；h表示第五距离值；表示第六距离值；表示目标开合角度最小值。
54.s5：根据所述移动位移值计算所述电动夹爪的夹持步进电机的第一转动角度。
55.计算所述电动夹爪的夹持步进电机的第一转动角度的表达式为：式中，表示第一转动角度；p为夹持步进电机丝杆螺距。
56.当夹持步进电机按照第一转动角度转动后，则控制软体手爪实现球形果实包络。
57.s6：根据所述第一转动角度计算所述电动夹爪上的旋拧步进电机的第二转动角度。
58.计算所述电动夹爪上的旋拧步进电机的第二转动角度的表达式为：；式中，k2为软体夹爪补偿系数。
59.s7：根据所述电动夹爪的所述目标采摘位置坐标、所述第一转动角度和所述第二转动角度控制所述采摘装置及所述电动夹爪进行球形果实的采摘。
60.采用采摘装置控制的过程为：采摘装置中的工控机控制机械臂带动电动夹爪达到目标采摘位置，工控机将得到的夹持步进电机6的第一转动角度传输至夹持步进电机驱动器，夹持步进电机驱动器发送脉冲指令带动丝杆旋转，夹爪安装架3在丝杆螺母5带动下向远离夹持步进电机6方向运动，带动推杆7运动，进而带动软体夹爪安装座8运动，同时带动软体夹爪10向球形果实9中心运动，实现果实包络。
61.工控机控制夹爪旋拧步进电机1带动果实、电动夹爪旋转一定度数，使果实果梗与球形植株脱离。
62.工控机控制机械臂回退至果实收纳箱指定位置；工控机控制夹爪步进电机6张开，果实掉落至收纳箱中，夹爪步进电机6恢复到初始位置。
63.本实施例中，基于现有的采摘装置给出了采摘的控制方法，能够在不增加额外设备前提下，实现不同果径球形果实的差异化采摘，建立基于果实位置坐标与果径的电动手爪运动模型与电动手爪步进电机转动角度计算模型，降低因果实果径不同造成的采摘损伤，提高电动手爪运动定位精度，从而实现了球形果实的精准采摘。
64.实施例2如图7所示，本实施例提供一种球形果实采摘系统，包括：果实坐标和果径获取模块t1，用于利用采摘装置上的图像采集机构获取球形果实
植株和球形果实的图像并根据所述图像确定球形果实的三维坐标和果实直径；采摘目标位置获取模块t2，用于根据所述球形果实的三维坐标和所述果实直径确定所述采摘装置上机械臂一端的电动夹爪的目标采摘位置坐标；目标开合角度确定模块t3，用于确定所述电动夹爪与所述球形果实相切时的所述电动夹爪的目标开合角度；移动位移计算模块t4，用于根据所述目标开合角度和目标开合角度最小值计算所述电动夹爪上的推杆的移动位移值；第一传动角度确定模块t5，用于根据所述移动位移值计算所述电动夹爪的夹持步进电机的第一转动角度；第二转动角度确定模块t6，用于根据所述第一转动角度计算所述电动夹爪上的旋拧步进电机的第二转动角度；控制采摘模块t7，用于根据所述电动夹爪的所述目标采摘位置坐标、所述第一转动角度和所述第二转动角度控制所述采摘装置及所述电动夹爪进行球形果实的采摘。
65.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
66.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。