一种基于双目视觉的菠萝采摘机器人

1.本发明涉及果实采摘设备技术领域，具体涉及一种基于双目视觉的菠萝采摘机器人。


背景技术：

[0002][0003]
由于市场偏好，当前菠萝的销售大多以鲜果为主；因此，菠萝成熟后需在短时间内采摘完成、并且售出，以保证其新鲜程度。然而，由于菠萝独特的体积与外形，使其采摘难度较大；并且，菠萝生长位置杂乱无章，在同一笼地中、呈现不规则的分布，采摘过程中无法有效识别菠萝果实的位置、需要人工肉眼判断。上述问题造成目前依然无法实现机械化、系统化、自动化的采摘菠萝；仍主要依靠人工进行菠萝的采摘，导致采摘菠萝劳动强度大、采摘效率低、采摘成本高，同时人工肉眼在长时间工作后易出现酸痛问题、导致判断精度下降，从而极大的浪费人力物力、提高菠萝的生产成本，甚至影响菠萝错过最佳销售时节、导致菠萝滞销。


技术实现要素：

[0004]
针对以上现有技术存在的问题，本发明的目的在于提供一种基于双目视觉的菠萝采摘机器人，该采摘机器人能够自动定位识别菠萝，从而完成自动化、机械化采摘菠萝，操作方便、采摘效率高、采摘成本低，有效节省劳动生产力，实现菠萝的智能化采摘。
[0005]
本发明的目的通过以下技术方案实现：
[0006]
一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体，所述移动车本体下端设置行走轮、用于移动；所述移动车本体两侧分别设置菠萝收集槽，用于收集采摘后的菠萝；所述移动车本体前端设置视觉检测装置，用于识别、判断菠萝的位置；所述移动车本体中部设置多组两自由度移动机构，用于移动末端执行器；所述两自由度移动机构上设置末端执行器，用于实现菠萝的采摘，且所述两自由度移动机构与视觉检测装置通过远程传输模块交互；
[0007]
所述末端执行器包括连接角件、支撑杆、托板、倾斜挡板、切割刀片、旋转斜挡板以及固定斜挡板；所述连接角件固定设置在两自由度移动机构上且连接角件下端与支撑杆固定连接；所述支撑杆远离连接角件一端的两侧分别通过固定角件与一托板固定连接且两块所述托板组成“y”形口结构、即两块托板之间的距离由靠近支撑杆端向远离支撑杆端逐渐增大；两块所述托板的上端面且位于支撑杆靠近“y”形口结构的一侧依次固定设置倾斜挡板与切割刀片且所述倾斜挡板与支撑杆固定连接、所述切割刀片位于倾斜挡板远离支撑杆的一侧，倾斜挡板由靠近支撑杆向远离支撑杆的一侧倾斜；靠近所述菠萝收集槽的托板底端固定设置一翻转舵机，所述翻转舵机输出端固定连接旋转斜挡板且所述旋转斜挡板位于对应托板远离“y”形口结构的一侧侧面；远离所述菠萝收集槽的托板固定设置一固定斜挡板且所述固定斜挡板位于对应托板远离“y”形口结构的一侧侧面；所述旋转斜挡板与固定
斜挡板之间的距离由靠近支撑杆到远离逐渐增大。
[0008]
作进一步优化，所述移动车本体后端固定设置推动把手，用于人力辅助推动移动车本体运动。
[0009]
作进一步优化，所述两自由度移动机构包括水平移动模块与竖直移动模块；
[0010]
所述水平移动模块包括水平滑轨、第一电机、同步带轮、传动带、连接板以及压板；所述水平滑轨设置在所述移动车本体上且水平滑轨上侧两端分别通过第一电机座固定设置第一电机、通过第一轴承座固定设置同步带轮；所述第一电机输出轴与同步带轮通过传动带连接；所述水平滑轨上侧且位于第一电机与同步带轮之间设置连接板，所述连接板与水平滑轨滑动连接；所述连接板上侧通过设置压板与传动带连接；
[0011]
所述竖直移动模块包括丝杠座、竖直滑轨、第二轴承座、第二电机、丝杠以及滑块；所述丝杠座上端面与连接板下端面固定连接且丝杠座底面一侧固定设置竖直滑轨、水平滑轨中部对应丝杠座与竖直滑轨设置一通槽；所述竖直滑轨远离丝杠座的一端通过第二电机座固定设置第二电机；所述第二电机座上侧设置第二轴承座且第二轴承座与竖直滑轨固定连接，所述第二电机输出轴贯穿第二电机座且固定连接一丝杠，所述丝杠远离第二电机的一端贯穿第二轴承座且与丝杠座转动连接、丝杠与第二轴承座转动连接；所述滑块套接在所述丝杠外壁且滑块与丝杠螺纹连接、滑块与竖直滑轨滑动连接。
[0012]
作进一步优化，所述切割刀片下端面与远离菠萝收集槽的托板上端面之间设置垫块，从而在切割刀片上表面形成靠近菠萝收集槽一侧低于远离菠萝收集槽一侧的斜面结构、便于菠萝的滚动。
[0013]
作进一步优化，所述旋转斜挡板与固定斜挡板相对面对应设置横截面为三角形的橡胶条，且所述橡胶条的斜面部分位于远离倾斜挡板的一侧。
[0014]
作进一步优化，所述视觉检测装置包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：
[0015]
首先通过双目立体相机实时采集菠萝种植田内的图像；然后，控制系统通过深度神经网络yolov5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云；随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置；最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标(即采摘机器人基坐标系下菠萝果实的三维位置)，即菠萝果实在水平、竖直、前后方向上相对于末端执行器的数据，并通过远程传输模块传递给行走轮的控制电机、第一电机以及第二电机，控制末端执行器的位置运行、实现菠萝果实的采摘。
[0016]
作进一步优化，所述利用双目立体视觉方法获得菠萝果实的三维点云具体步骤为：
[0017]
首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机(此步骤可以预先进行)；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点(即右图像与左图像的对应点)在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图i(x,y)，稠密视差图i(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：
[0018][0019]
式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得； (xi,yi)表示左图像上任意一点像素点的坐标(其中，i＝1,2，
……
，n-1，n)； d表示像素点(xi,yi)的视差值(通过稠密视差图获得)；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(xc,yc,zc)表示像素点 (xi,yi)在双目立体相机的左相机坐标系上的三维坐标；
[0020]
拟合所有左图像上像素点(xi,yi)的三维坐标，即得三维点云。
[0021]
作进一步优化，所述通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置具体步骤为：
[0022]
s001、在获得菠萝果实的三维点云中随机抽取四个点，并将四个点代入球面方程(x-a)2+(y-b)2+(z-c)2＝r2中，计算获得球心坐标(a,b,c)以及球体半径r；
[0023]
s002、计算三维点云中每个点到球心坐标(a,b,c)的距离、记为hi(其中， i＝1,2，
……
，n-1，n)，同时选取阈值hd；
[0024]
若|h
i-r|≤hd；则该hi对应的三维点云的点为模型内点；
[0025]
若|h
i-r|＞hd；则该hi对应的三维点云的点为模型外点；
[0026]
记录模型内点的个数、记为n；
[0027]
s003、预设模型迭代次数k，上述步骤s001～s002为一次迭代，重复以上步骤k次，选取模型内点n数量最多的球体对应的模型参数为最佳拟合参数；
[0028]
s004、输出最佳拟合参数的球心坐标(a0,b0,c0)以及半径r0作为菠萝果实的三维拟合结果。
[0029]
作进一步优化，所述手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标为预先标定后输入控制系统中，具体步骤为：
[0030]
首先，在双目立体相机的左相机下方设置一块棋盘格标定板，并使用 opencv的findchessboardcorners函数提取棋盘格标定板角点；然后，采用 solvepnp函数获得左相机坐标系与棋盘格标定板坐标系之间的旋转矩阵r1和平移矩阵t1；随后手动移动采摘机器人，使得末端执行器中心点移动到棋盘格标定板坐标系的原点、x轴方向上任一项以及y轴方向上的任一点，并分别记录这三点在采摘机器人基坐标系上的读数，记为p1、p2、p3；再通过 p1、p2、p3计算采摘机器人基坐标系与棋盘格标定板坐标系之间的旋转矩阵 r2和平移矩阵t2，具体为：
[0031][0032]
t2＝p1；
[0033]
最后，将相机坐标系下菠萝果实的三维位置p转换为采摘机器人基坐标系下菠萝果实的三维位置q，具体为：
[0034][0035]
本发明具有如下技术效果：
[0036]
本技术通过连接角件、支撑杆、托板、倾斜挡板、切割刀片、旋转斜挡板以及固定斜挡板的配合，实现移动式、机械化采摘菠萝果实，从而减轻人力采摘的工作强度；通过移动车本体与行走轮结构的配合，使得运动平稳、有效克服田地的地形障碍；通过双目立体相机与控制系统的配合，能够有效识别菠萝果实的位置，避免菠萝田地内其他因素的干扰，同时避免肉眼长久辨别后由于疲劳而导致的精度降低、从而在采摘过程中对菠萝果实造成损伤的问题，达到定位准确、采摘精度高的效果；通过移动车本体、末端执行器与菠萝收集槽的配合，能够有效实现菠萝采摘后的收集，实现最简化利用重力收集，有效提高采摘效率。
[0037]
本技术利用立体标定算法、随机抽一致性的三维球体拟合算法、手眼标定算法，通过双目立体相机识别菠萝图像后，有效将其转换为末端执行器的三维坐标，从而能够与末端执行器无缝配合，实现对菠萝果实的精准、高效采摘；避免对菠萝果实的损伤，以及出现误采摘、错采摘的问题。
[0038]
本技术采摘机器人采摘一体化机构，工作效率高、精度高，实用性强，能够有效的降低人工采摘的劳动强度。
附图说明
[0039]
图1为本发明实施例中采摘机器人的整体结构示意图。
[0040]
图2为本发明实施例中采摘机器人的两自由度移动机构的结构示意图。
[0041]
图3为本发明实施例中采摘机器人的两自由度移动机构的竖直移动模块的结构示意图。
[0042]
图4为本发明实施例中采摘机器人的末端执行器的整体结构示意图。
[0043]
图5为本发明实施例中采摘机器人的末端执行器的正向视图。
[0044]
图6为本发明实施例中采摘机器人的末端执行器的仰视图。
[0045]
其中，100、移动车本体；10、行走轮；20、菠萝收集槽；30、视觉检测装置；40、两自由度移动机构；41、水平移动模块；411、水平滑轨；412、第一电机；4120、第一电机座；413、同步
带轮；4130、第一轴承座；414、传动带；415、连接板；416、压板；42、竖直移动模块；421、丝杠座；422、竖直滑轨；423、第二轴承座；424、第二电机；4240、第二电机座；425、丝杠；426、滑块；50、末端执行器；51、连接角件；52、支撑杆；520、固定角件；53、托板；530、翻转舵机；54、倾斜挡板；55、切割刀片；550、垫块；56、旋转斜挡板；560、橡胶条；57、固定斜挡板；60、推动把手。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0047]
实施例：
[0048]
如图1～6所示，一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体100，移动车本体100下端设置行走轮10、用于移动；移动车本体100两侧分别设置菠萝收集槽20，用于收集采摘后的菠萝；移动车本体 100前端设置视觉检测装置30，用于识别、判断菠萝的位置；移动车本体100 中部设置多组两自由度移动机构40，用于移动末端执行器50；两自由度移动机构100上设置末端执行器50，用于实现菠萝的采摘，且两自由度移动机构 40与视觉检测装置30通过远程传输模块交互；移动车本体100后端固定设置推动把手60，用于人力辅助推动移动车本体100运动。
[0049]
两自由度移动机构40包括水平移动模块41与竖直移动模块42；水平移动模块42包括水平滑轨411、第一电机412、同步带轮413、传动带414、连接板415以及压板416；水平滑轨411设置在移动车本体100上且水平滑轨 411上侧两端分别通过第一电机座4120固定设置第一电机412、通过第一轴承座4130固定设置同步带轮413(如图1、图2所示，移动车本体100上设置多组水平滑轨411)；第一电机412输出轴与同步带轮413通过传动带414 连接；水平滑轨411上侧且位于第一电机412与同步带轮413之间设置连接板415，连接板415与水平滑轨411滑动连接；连接板415上侧通过设置压板 416与传动带414连接(如图2所示，压板416将一段传动带414压在连接板 415上，从而实现传动带414传动时、连接板415在第一电机412与同步带轮 413之间的水平滑轨411上滑动)；竖直移动模块42包括丝杠座421、竖直滑轨422、第二轴承座423、第二电机424、丝杠425以及滑块426；丝杠座 421上端面与连接板415下端面固定连接且丝杠座421底面一侧固定设置竖直滑轨422、水平滑轨411中部对应丝杠座421与竖直滑轨422设置一通槽(如图2所示，从而确保丝杠座421与竖直滑轨422跟随连接板415一同运动)；竖直滑轨422远离丝杠座421的一端通过第二电机座4240固定设置第二电机 424；第二电机座424上侧设置第二轴承座423且第二轴承座423与竖直滑轨 422固定连接，第二电机424输出轴贯穿第二电机座4240且固定连接一丝杠 425，丝杠425远离第二电机424的一端贯穿第二轴承座423且与丝杠座421 转动连接、丝杠425与第二轴承座423转动连接；滑块426套接在丝杠425 外壁且滑块426与丝杠425螺纹连接、滑块426与竖直滑轨422滑动连接(保证滑块426能在竖直滑轨422上进行上下滑动)。
[0050]
末端执行器50包括连接角件51、支撑杆52、托板53、倾斜挡板54、切割刀片55、旋转斜挡板56以及固定斜挡板57；连接角件51固定设置在两自由度移动机构40上(具体为滑块426远离竖直滑轨422一侧侧面与连接角件 51固定连接)且连接角件51下端与支撑杆52固定连接；支撑杆52远离连接角件51一端的两侧分别通过固定角件520与一托板53固定连接
且两块托板 53组成“y”形口结构(如图4、图6所示)、即两块托板53之间的距离由靠近支撑杆52端向远离支撑杆52端逐渐增大；两块托板53的上端面且位于支撑杆52靠近“y”形口结构的一侧依次固定设置倾斜挡板54与切割刀片 55且倾斜挡板54与支撑杆52固定连接、切割刀片55位于倾斜挡板54远离支撑杆52的一侧(如图4、图6所示)，倾斜挡板54由靠近支撑杆52向远离支撑杆52的一侧倾斜(即倾斜挡板54靠近支撑杆52的一侧高于远离支撑杆52的一侧)；靠近菠萝收集槽20的托板53底端固定设置一翻转舵机530，翻转舵机530输出端固定连接旋转斜挡板56且旋转斜挡板56位于对应托板 53远离“y”形口结构的一侧侧面；远离菠萝收集槽20的托板53固定设置一固定斜挡板57且固定斜挡板57位于对应托板53远离“y”形口结构的一侧侧面(如图4、图5、图6所示)；旋转斜挡板56与固定斜挡板57之间的距离由靠近支撑杆52到远离逐渐增大。切割刀片55下端面与远离菠萝收集槽20的托板53上端面之间设置垫块550(如图4、图5所示)，从而在切割刀片55上表面形成靠近菠萝收集槽20一侧低于远离菠萝收集槽20一侧的斜面结构、便于菠萝的滚动。旋转斜挡板56与固定斜挡板57相对面(即位于靠近“y”形口结构的侧面)对应设置横截面为三角形的橡胶条560(如图6 所示)，且橡胶条560的斜面部分位于远离倾斜挡板54的一侧(如图6所示)。
[0051]
视觉检测装置30包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：
[0052]
a1：首先通过双目立体相机实时采集菠萝种植田内的图像；
[0053]
a2：然后，控制系统通过深度神经网络yolov5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云，具体步骤为：
[0054]
首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机(此步骤可以预先进行)；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点(即右图像与左图像的对应点)在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图i(x,y)，稠密视差图i(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：
[0055][0056]
式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得； (xi,yi)表示左图像上任意一点像素点的坐标(其中，i＝1,2，
……
，n-1，n)； d表示像素点(xi,yi)的视差值(通过稠密视差图获得)；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(xc,yc,zc)表示像素点 (xi,yi)在双目立体相机的左相机坐标系上的三维坐标；
[0057]
拟合所有左图像上像素点(xi,yi)的三维坐标，即得三维点云。
[0058]
a3：随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置，具体步骤为：
[0059]
s001、在获得菠萝果实的三维点云中随机抽取四个点，并将四个点代入球面方程(x-a)2+(y-b)2+(z-c)2＝r2中，计算获得球心坐标(a,b,c)以及球体半径r；
[0060]
s002、计算三维点云中每个点到球心坐标(a,b,c)的距离、记为hi(其中， i＝1,2，
……
，n-1，n)，同时选取阈值hd(阈值hd通过经验法获取；其若太大、会导致模型精度差，若大小、会导致迭代周期长，一般为15mm)；
[0061]
若|h
i-r|≤hd；则该hi对应的三维点云的点为模型内点；
[0062]
若|h
i-r|＞hd；则该hi对应的三维点云的点为模型外点；
[0063]
记录模型内点的个数、记为n；
[0064]
s003、预设模型迭代次数k，上述步骤s001～s002为一次迭代，重复以上步骤k次，选取模型内点n数量最多的球体对应的模型参数为最佳拟合参数；
[0065]
s004、输出最佳拟合参数的球心坐标(a0,b0,c0)以及半径r0作为菠萝果实的三维拟合结果。
[0066]
a4：最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标(即采摘机器人基坐标系下菠萝果实的三维位置)，即菠萝果实在水平、竖直、前后方向上相对于末端执行器50的数据；手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标为预先标定后输入控制系统中，具体步骤为：
[0067]
首先，在双目立体相机的左相机下方设置一块棋盘格标定板，并使用 opencv的findchessboardcorners函数提取棋盘格标定板角点；然后，采用 solvepnp函数获得左相机坐标系与棋盘格标定板坐标系之间的旋转矩阵r1和平移矩阵t1；随后手动移动采摘机器人，使得末端执行器50中心点移动到棋盘格标定板坐标系的原点、x轴方向上任一项以及y轴方向上的任一点，并分别记录这三点在采摘机器人基坐标系上的读数，记为p1、p2、p3；再通过 p1、p2、p3计算采摘机器人基坐标系与棋盘格标定板坐标系之间的旋转矩阵r2和平移矩阵t2，具体为：
[0068][0069]
t2＝p1；
[0070]
最后，将相机坐标系下菠萝果实的三维位置p转换为采摘机器人基坐标系下菠萝果实的三维位置q，具体为：
[0071]
[0072]
a5：控制系统通过远程传输模块传递给行走轮10的控制电机、第一电机 412以及第二电机424，控制末端执行器50的位置运行、实现菠萝果实的采摘，具体步骤为：
[0073]
首先，整个菠萝采摘机器人由行走轮10驱动、向前移动到某一采摘位置，同时控制系统对末端执行器50进行位置初始化，即末端执行器50三维空间坐标的初始化(此点在上述步骤a1～a4之前进行)；然后，进行步骤a1～ a4，获得菠萝果实在水平、竖直、前后方向上相对于末端执行器50(初始化位置)的数据；之后，控制系统根据菠萝果实在水平方向上相对于末端执行器50的距离数据、获得末端执行器50在水平方向上需要移动的距离，从而控制水平移动模块41移动对应的末端执行器50(具体为：启动第一电机412、第一电机412转动带动传动带414与同步带轮413转动，从而带动连接板415 在水平滑轨411上滑动)；控制系统根据菠萝果实在竖直方向上相对于末端执行器50的距离数据、获得末端执行器50在竖直方向上需要移动的距离，从而控制竖直移动模块42移动对应的末端执行器50(具体为：启动第二电机424，第二电机424转动带动丝杠425转动，实现滑块426在竖直滑轨422上下滑动)；经过水平与竖直的调整，末端执行器50到达一定的采摘位置、即使得菠萝果实位于末端执行器50的两块托板53、倾斜挡板54、旋转斜挡板 56与固定斜挡板57所组成的托举空间；控制系统在控制行走轮10向菠萝果实的方向前进，菠萝果实进行到托举空间内，两个托板53所组成的“y”形口结构对菠萝果实的茎秆进行限位、扶正，直至菠萝茎秆逐步与位于“y”形口结构末端的切割刀片55接触；此时菠萝果实受橡胶条560限位，不跟随末端执行器50移动，从而利于切割刀片55将菠萝果实的茎秆切断，切割完成后，菠萝果实落在托举空间内，实现菠萝的采摘；采摘完成后，水平移动模块41与竖直移动模块将末端执行器50移动到菠萝收集槽20斜上方(此处由于最终的位置是确定的，因此控制可通过限位传感器实现、也可通过距离控制实现，为本领域的常规技术，本技术具体实施方式不做过多论述)，启动翻转舵机530，从而使旋转斜挡板56旋转、不再对菠萝果实形成支撑，菠萝果实由于切割刀片55表面的倾斜而落入菠萝收集槽20，实现菠萝果实的收集。
[0074]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。