一种基于yolo视觉的苹果采摘机器人的制作方法

本发明涉及一种农业自动化机械装备，特别涉及一种基于yolo视觉的苹果采摘机器人。

背景技术：

中国是一个农业生产和农产品消费的大国，农业发展的问题是我国社会经济发展的根本问题。农业是国民经济生产中的基础产业，支持和保障人民的日常活动及社会经济的发展。

近年来，随着计算机硬件技术和先进自动化控制的告诉发展、高新现代化科技农业的应用和推广，农业机器人已经慢慢进入到农业生产领域中，并将促进现代农业向着装备机械化、生产智能化的方向发展。

国内苹果采摘基本上还是纯手工完成。进入21世纪，我国人口面临老龄化问题，劳动力不仅成本提高，而且还会产生各种意外问题。同时，苹果采摘质量也会影响到果蔬的储存、加工和销售。

由于苹果采摘作业环境比较的复杂，苹果在树上呈无规律分布，果园中果树生长具有随机性，苹果的采摘自动化程度仍然很低，难以进行精确定位。苹果采摘机器人是可以通过计算机自动化编程来完成采摘等相关作业任务，同时具有感知能力的自动化机械收获系统。因此，发展机械化收获技术，研究开发果蔬采摘机器人，具有重要的意义。

技术实现要素：

本发明要解决的技术问题是提供一种识别准确率和稳定性高的基于yolo视觉的苹果采摘机器人。

为解决上述技术问题，本发明的技术方案为：一种基于yolo视觉的苹果采摘机器人，其创新点在于：包括

一移动可变形履带底盘，包括一行走底盘，在行走底盘的两侧安装有叶子板，在叶子板的底端安装有数组并列分布的承重轮组，所述承重轮组的上端还设置有数个托带轮，在承重轮组的两侧分别安装有辅助轮、主动轮；

一五轴可伸缩关节机械臂，包括一安装在行走底盘上方的机械臂安装板，在机械臂安装板的上方设置有一底座，所述底座由一升降机构驱动进行上下升降，在底座的上端铰接有一大臂，且大臂由一旋转机构带动进行转动，所述大臂的顶端铰接有一小臂，在小臂的顶端连接有一顶板，且顶板由一回转机构带动进行转动，所述顶板上安装有机械抓手；

一视觉识别和深度学习控制系统，包括安装在机械抓手中心位置的摄像头，安装在行走底盘上的嵌入式微处理器及minipc控制系统，还包括图像处理装置、数据存储装置、深度学习卡及cpu处理器。

进一步的，每组承重轮组由四个呈矩形状分布的承重轮共同组成，且四个承重轮通过一工字形安装座连接一起。

进一步的，所述升降机构包括一位于机械臂安装板与底座之间的叉形升降台，叉形升降台的底端固定在机械臂安装板上，顶端与底座相固定，所述叉形升降台由伺服电机驱动并带动底座进行上下升降。

进一步的，所述底座与大臂之间的连接为：底座与大臂之间通过一大臂关节相连，且大臂关节与底座之间固定相连，与大臂之间铰接而成，所述大臂由大臂摆动电机驱动沿着大臂与大臂关节之间的铰接点进行上下摆动。

进一步的，所述旋转机构为：在大臂与底座之间安装有一回转台，该回转台由一回转电机驱动进行转动，并带动大臂进行旋转。

进一步的，所述大臂与小臂之间的连接为：大臂与小臂之间通过一小臂关节相连，且小臂关节与大臂之间铰接而成，与小臂之间固定相连，所述小臂由小臂摆动电机驱动沿着大臂与小臂关节之间的铰接点进行上下摆动。

进一步的，所述回转机构为：在顶板与小臂之间安装有一转动关节，所述转动关节与顶板之间固定相连，并由一回转电机驱动进行转动。

本发明的优点在于：本发明利用深度学习视觉系统进行苹果检测，通过在移动可变形履带底盘上加装一个五轴可伸缩关节机械臂，机械抓手安装摄像头，并通过图像处理装置的配合，能够自动检测苹果的颜色、大小、形状，然后对获取的图像进行自动处理、检测与识别，在识别检测的过程中不断通过深度学习算法进行优化，以便提高识别率，将改变目前采摘果蔬环节全部依靠人工的现状，大大提高其生产自动化水平，推进农业科技现代化。

本发明的机器人结构简单、自动化得度高，适用性广、移植性强，能广泛适用于果蔬的采摘和回收，具有广阔的前景。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的基于yolo视觉的苹果采摘机器人的示意图。

图2为本发明的移动可变形履带底盘的示意图。

具体实施方式

下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。

如图1、图2所示的一种基于yolo视觉的苹果采摘机器人，包括

一移动可变形履带底盘1，包括一行走底盘21，在行走底盘21的两侧安装有叶子板27，在叶子板27的底端安装有数组并列分布的承重轮组，所述承重轮组的上端还设置有数个托带轮25，托带轮25通过托带轮支架固定在行走底盘21上，在承重轮组的两侧分别安装有辅助轮21、主动轮23，其中主动轮23由电机驱动进行转动。

每组承重轮组由四个呈矩形状分布的承重轮22共同组成，且四个承重轮22通过一工字形安装座连接一起。

一五轴可伸缩关节机械臂，包括一安装在行走底盘21上方的机械臂安装板3，在机械臂安装板3的上方设置有一底座6，底座6由一升降机构驱动进行上下升降，升降机构包括一位于机械臂安装板3与底座6之间的叉形升降台4，叉形升降台4的底端固定在机械臂安装板3上，叉形升降台4的顶端与底座6相固定，叉形升降台4由伺服电机5驱动并带动底座6进行上下升降。

在底座6的上端铰接有一大臂9，且大臂9由一旋转机构带动进行转动，底座6与大臂9之间的连接为：底座6与大臂9之间通过一大臂关节8相连，且大臂关节8与底座6之间固定相连，大臂关节8与大臂9之间铰接而成，大臂9由大臂摆动电机驱动沿着9大臂与大臂关节8之间的铰接点进行上下摆动。

旋转机构为：在大臂9与底座6之间安装有一回转台7，回转台7的上端与大臂9之间固定连接，该回转台7由一回转电机驱动进行转动，并带动大臂9进行旋转。

在大臂9的顶端铰接有一小臂11，大臂9与小臂11之间的连接为：大臂9与小臂11之间通过一小臂关节10相连，且小臂关节10与大臂9之间铰接而成，小臂关节10与小臂11之间固定相连，小臂11由小臂摆动电机驱动沿着大臂9与小臂关节10之间的铰接点进行上下摆动。

在小臂11的顶端连接有一顶板13，且顶板13由一回转机构带动进行转动，在顶板13上安装有机械抓手。在本实施例中，机械抓手采用三抓机械抓手。

回转机构为：在顶板13与小臂11之间安装有一转动关节12，转动关节12与顶板13之间固定相连，并由一回转电机驱动进行转动，从而带动顶板13进行转动。

一视觉识别和深度学习控制系统，包括安装在机械抓手中心位置的摄像头，安装在行走底盘21上的嵌入式微处理器及minipc控制系统，还包括图像处理装置、数据存储装置、深度学习卡及cpu处理器。

深度信息计算：

目标的判定是自动进行的，每个被判定的目标都进被单独处理，而目标过多时，区分工作选取hough变换来完成单目标：

以目标的投影为基础来求解每个像素点，进而求平均值，即为目标中心点，以此为基础来求解目标半径。

中心点：

半径

多目标：

目标过多时，区分工作选取hough变换来完成，同时用蓝圈来区分，中心点用红心代替。

实际使用的摄像机，因为制造工艺的限制，主点(光轴与感光平面交点)不能保证在成像设备的正中心位置，所以引入两个参数cx和cy表示真实主点与理想主点的偏移1]。因为像素点在一个普通摄像机上不能保证是正方形，所以使用两个不同的焦距fr和fy。假设左成像平面上的点为g＝[x1，y1，1]，目标物体点q＝[x，y，z，1]，引入参数s(比例因子)和单应性矩阵h，其定义为：q＝she，其中h由两个矩阵表示：h＝mw。

式子为摄像机内参数矩阵，表述了现实世界点q在外参数矩阵基础上，是如何经过摄像机的镜头，并通过针孔成像和电子转化成为像素点的过程。

式为摄像机外参数矩阵，表述了现实世界点q(世界坐标)经过怎样的旋转平移，然后落到另一个现实世界(摄像机坐标系)上的过程。

考虑到透镜畸变，假设qp(xp，yp)为校正后的点，qd(xd，yd)为畸变后的点，则有

其中：上式构成一个5×1的矩阵，该矩阵就是摄像机的畸变矩阵，表述了现实世界点q为什么没有落在理论计算该落在的位置，为何产生一定偏移和变形的原因。

标定就是为得到摄像机的上述参数，本发明采用张正友标定法，该标定法具有较好的精度和鲁棒性。开源计算机视觉库opencv，实现了计算机视觉相关的许多算法。opencv由intel公司发起并开发，采用c/c++语言编程，它开源、轻量级、高效，实现了图像处理和计算机视觉方面的很多通用算法，已经广泛应用于对实时性要求较高的计算机视觉和模式识别系统的开发。本发明参考邹字华1理的研究，在microsoftvs2010开发环境下开发了基于opencv的软件。软件能够实现摄像机单双目标定、图像矫正、立体匹配和视差运算，从而计算出被测物体的深度信息。

本发明利用深度学习视觉系统进行苹果检测，通过在移动可变形履带底盘上加装一个五轴可伸缩关节机械臂，机械抓手安装摄像头，并通过图像处理装置的配合，能够自动检测苹果的颜色、大小、形状，然后对获取的图像进行自动处理、检测与识别，在识别检测的过程中不断通过深度学习算法进行优化，以便提高识别率，将改变目前采摘果蔬环节全部依靠人工的现状，大大提高其生产自动化水平，推进农业科技现代化。

本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。