一种基于双目视觉的苹果成熟度自动检测及采摘机器人的制作方法
【技术领域】
[0001]本发明涉及采摘装置，特别是一种基于双目视觉的苹果成熟度自动检测及采摘机器人。
【背景技术】
[0002]在我国，随着经济水平的增长，劳动力价格不断提高，造成劳动密集型企业的生产成本不断提高，尤其是农业生产领域，如蔬菜以及水果的收割，往往需要耗费大量的人力资源。因此，农业生产机器人发挥了巨大的作用，如:水稻收割机器人、防虫预警机器人等。然而，目前国内外果蔬采摘机器人市场基本空白。由于苹果在树上呈无规律分布，导致难以识别果实的成熟度以及进行精确定位，因此，研制一种能够灵活移动于树枝之间的柔性机械手一直是难以突破的技术难题。此外，机械手采摘果实的力度不易控制而导致出现采摘失败或果实损坏的状况发生。目前，国外研制出了一种果实收割设备，它是先通过摇晃苹果树使苹果落地，然后再收集起地上的苹果，显然成熟的苹果摔落易于导致损坏而造成经济损失。随着劳动力价格的上涨，果蔬采摘机器人的使用将是未来农业机器人发展的一大趋势，研发果蔬采摘机器人具有重要的实际意义。
【发明内容】
[0003]本发明目的是针对现有技术的不足，而提供一种基于双目视觉的苹果成熟度自动检测及采摘机器人。该装置结构简单，适用性广，能显著地提高生产效率，降低生产成本。
[0004]为达到上述目的，本发明采取的技术方案是:
一种基于双目视觉的苹果成熟度自动检测及采摘机器人，包括移动平台和与移动平台连接的双目视觉系统、柔性机械手，双目视觉系统以及柔性机械手均设置在移动平台上。
[0005]所述双目视觉系统，由两个图像采集装置组成；图像采集装置通过数据采集卡与智能控制系统连接，图像采集装置设置在距离地面高度为135cm的架子上；架子固定在移动平台的左边，两个图像采集装置的距离为47cm，并聚焦于柔性机械手前方60cm处。
[0006]所述柔性机械手包括从下至上顺序连接的第一关节、第二关节、第三关节、第四关节、剪刀手机构，每个关节均分别与对应的传动机构、旋转机构、光电机构连接。
[0007]所述旋转机构包括能水平、垂直自由旋转的关节转动轴、与关节转动轴连接的关节电机和旋转臂，关节电机与关节电气系统连接。
[0008]所述关节转动轴从下至上分为第一关节转动轴、第二关节转动轴、第三关节转动轴和第四关节转动轴，剪刀手机构与第四关节转动轴连接，通过所有关节转动轴的转动，控制剪刀手机构在三维空间中灵活伸缩并采摘果实，其中:
第一关节转动轴平行于水平面做旋转运动，运动角度范围为180°，最大运动速度为60。 /s ；
第二关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60。 /s ； 第三关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60。 /s ；
第四关节转动轴做垂直于水平面的旋转运动，运动角度范围为180°，最大运动速度为60。 /s ；
第二关节转动轴与第三关节转动轴之间的臂长为380mm，第三关节转动轴至第四关节转动轴之间的臂长为330mm ;整个关节转动轴的最大展开半径为850mm ;整体直立高度为10SOmnin
[0009]所述关节电机分别与每个关节转动轴连接，内部设置有失电制动器和减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中:减速器为谐波减速器。
[0010]所述关节电气系统由直流电机、编码器、制动器和光电开关相连组成。
[0011]所述剪刀手机构由气动系统和与气动系统连接的可张开、闭合的剪刀手构成，剪刀手内设有采摘刀片，刀片下设有缓冲垫，利用气动系统带来的压力剪断果实果柄，并夹住果柄末端，将所摘苹果回收至果篮中。
[0012]所述的移动平台为一四轮驱动平台；其四轮驱动电机的额定工作电压为48V，功率为100W，并带有线数为2000的编码器，减速比为35，电机额定转速为20 r/s。每个轮子的直径为34.5cm，并配有橡胶胎，抓地性能良好，使移动平台具有很好的越野性能，能够满足机器人在较为崎岖的果园里灵活移动。
[0013]本发明的工作过程如下:
当整个装置初始化完成后，视觉系统首先采集图像，对所述的图像进行分析，检索出机械手前方存在的可采摘的苹果，如果没有可采摘的苹果，移动平台通过差速逆时针方向旋转60°，视觉系统再次采集图像并分析，如果仍没有，移动平台重复上一步指令，如果移动平台旋转一周后，视觉系统仍没发现可采摘的苹果，则装置进入休眠模式；如果所述的视觉系统发现可采摘的苹果，则将求解出苹果所处的空间位置，并将得到的目标苹果的三维坐标传递到机械手控制端，接着执行采摘工作；如果机械手无法到达所述的三维坐标的位置，那么移动平台将根据目标苹果的位置做适当调整，直到机械手可以实现采摘，所述的调整，是一个闭环控制环节，所述的闭环控制环节是通过不断的视觉判断，和移动平台的调整，直到使得目标苹果相对于机械手的坐标满足采摘条件；如果所述的双目视觉系统检测到有多个苹果满足采摘条件，则距离装置最近的苹果将优先被采摘，然后再次采摘剩下中的距离最近的苹果，采摘到的苹果放置于移动平台前端的篮子里。
[0014]本发明的优点是:本发明利用双目视觉系统进行检测，通过在移动平台上加装一套图像采集装置和一个配有剪刀手的四维度柔性机械手，能够自动检测苹果的颜色、大小、形状，然后对获取的图像进行自动处理、检测与识别，以便提高系统的运行效率，且可实时反馈采摘情况，提高了采摘的准确率，将改变目前采摘果蔬环节全部依靠人工的现状，大大提高其生产自动化水平，结构简单、自动化程度高，适用性广、移植性强，能广泛适用于果蔬的采摘和回收，具有广阔的前景。
【附图说明】
[0015]图1是本发明整体系统图； 图2为本发明机械手的结构示意图；
图3是本发明双目视觉识别苹果的程序流程图；
图4是机械手运动规划程序流程图。
【具体实施方式】
[0016]下面结合附图和实施例对本发明进行阐述，但不是对本
【发明内容】
的限定。
[0017]实施例:
如图1所示，一种基于双目视觉的苹果成熟度自动检测及采摘机器人，由移动平台和与移动平台连接的双目视觉系统、柔性机械手构成，双目视觉系统设置移动平台上。移动平台为四轮驱动平台，其主要目的是调整系统相对地面的位置；由于果园通常不是平地，机器设备需有较好的运动性能方能灵活移动，移动平台每一个轮子均配有单独的驱动电机；当控制器接到运动指令是时，每个电机自主根据CAN总线协议的指令调整其转速及其加速度及工作时间；所述的移动平台运动控制和履带式机械类似，如所述移动平台要左转时，则右边两个轮子的运动速度大于左边两个轮子，实现差速左转；如需右转，则左边两个轮子速度大于右边两个轮子。
[0018]整体参考坐标系为右手系，移动平台的正方向为X轴正方向，双目视觉的摄像机聚焦于Y轴的负方向，即移动平台的右侧方向，所述摄像机安装于移动平台左侧，而机械手平行于Z轴，安装于移动平台的右侧，其复位状态为竖直状态；每个关节的运动正方向为图中对应的曲线的方向，如11表示面向X轴负方向，四关节的运动正方向为平行于ZOY平面做逆时钟方向；12表示三关节的运动正方向，其方向和11方向一样；13表示二关节的运动正方向，与11相反；14表示面向Z轴负方向，一关节的运动正方向为平行于XOY平面的逆时钟方向。
[0019]如图2所示，该部分为整体系统的柔性机械手部分，从下至上由机械手底座、第一关节、第二关节、第三关节、第四关节、剪刀手依次连接，其中所述的每一个关节都对应着相应的传动机构、旋转机构、光电机构，底座16通过螺栓与移动平台连接。
[0020]旋转机构由能水平、垂直四维度自由旋转的关节转动轴、与关节转动轴连接的关节电机、光电机构和旋转臂组成，关节转动轴从下至上分为第一关节转动轴15、第二关节转动轴22、第三关节转动轴10和第四关节转动轴4，各关节转动轴顺序串联，由全直流伺服电机驱动。其中:
第一关节转动轴15做平行于水平面做旋转运动，其运动角度范围为180°，最大运动速度为60° /s ;第一关节转动轴15与第一关节电机相连，在该转动轴15右侧设有用于控制旋转关节的复位的第一关节复位光电开关24和与该开关24连接的第一关节光电开关挡片14，当该关节转动时，挡片14将光线挡住，关节会一直转动，直至挡片14没有把光挡住为止；转动轴15左侧设有第一关节机械挡块18，防止机械手转动过多的角度，第一关节转动轴15下端通过第一连接臂17与底座16连接，上端与第二关节转动轴22扣接；
第二关节转动轴22做垂直于水平面的旋转运动，其运动角度范围为120°，最大运动速度为60° /s ;第二关节转动轴22通过第二关节动力传送带13与第二关节电机26连接，其一侧设有用于第二关节复位光电开关24和与该开关24连接的第二关节光电开关挡片23，当该关节转动时，挡片23将光线挡住，关节会一直转动，直至挡片23没有把光挡住为止；转动轴22上设有第二关节机械挡块和第三采摘手导气管固定座25，防止机械手转动过多的角度，在第二关节转动轴22上设有机械挡块21，以及在转动轴22下方设有机械辅助挡块20 ；
第三关节转动轴