专利名称：采摘机器人的自主导航和人机协同采摘作业系统的制作方法
技术领域：
本发明属于全景视觉技术、移动机器人的导航技术、无线传感网技术、人工智能技术和人机协同技术在颗粒状农作物自动化采摘方面的应用，尤其适用于人机协同的多采摘机器人的自主导航和采摘作业。
背景技术：
20世纪末，由于农业机械设计和制造技术趋于成熟，电子信息技术的快速发展，一批面向生产者应用的各种机电一体化技术产品开发出来并装备到农业机械上，使得诸如耕整、插秧、小麦收获等工作对象是均质平面的农业生产作业实现了机械化和自动化。而对于实现工作对象是分散的、并且需根据判断进行选择的上作如除草、间苗、蔬菜收获和水果收获等作业的机械化和自动化则是极为困难的，这些作业要求农业机械具备很高的智能。随着计算机技术和信息采集与处理技术的发展，人工智能、机器视觉等新技术在·农业机械中的应用研究得到了重视。结合了农艺技术、机械技术、电子技术、信息技术和人工智能技术的农业机器人的研制是当前国内外农业机具研究领域的研究热点之一。机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为农业机器人的自主导航和农作物的识别提供了一种新的解决方案；全景立体视觉技术的出现为农业机器人的自主导航和农作物的识别定位提供了极大的便利。农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时，采摘作业质量的好坏还直接影响到产品的后续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性，目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少，农业生产成本也相应提高，这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体。同工业机器人相比，采摘机器人具有以下的特点1)采摘对象娇嫩、易脆，形状复杂且个体之间的差异性大；2)采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率，同时对采摘机械手的避障提出了更高的要求；3)采摘机器人工作在非结构化的环境下，环境条件随着季节、天气的变化而发生变化，环境信息完全是未知的、开放的，对采摘机器人的智能控制水平要求高，在视觉、知识推理和判断等方面具有相当的智能；4)采摘对象是有生命的、易脆的生物体，要求在采摘过程中对果实无任何损伤，这就要求机器人的末端执行器具有柔顺性、灵巧性；5)由于缺少对采摘机器人的研究，沿用了工业机器人的设计思想，导致了采摘机器人的价格昂贵；6)采摘作业动作的复杂性，采摘机器人一般是采摘作业、移动同时进行，采摘区域的行走不是连接出发点和终点的最短距离，而是具有狭窄的范围，较长的距离及遍及整个田间表面等特点；7)由于采摘的延续时间长，需要在采摘过程中避免农作物受到损害，以免影响采摘的产量，比如棉花的采摘需要经历2个多月的时间；8)希望在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。采摘机器人中无论采用何种移动机构，都存在移动机器人的自主导航问题。目前移动机器人有多种导航方式，根据环境信息的完整程度、导航指示信号的类型、导航地域等因素的不同，可以分为基于地图导航、基于信标导航、基于GPS和视觉导航以及基于感知器导航等。基于地图的导航方式，事先要将机器人的作业环境输入控制系统内，形成电子地图。在结构化、环境条件已知的情况下，可以采用此种方法。基于信标导航，需要在作业环境的确定位置设立信标。机器人通过安装在身体上的测量装置检测其与信标的相互关系，推算自身的位姿。这种方式下，机器人的定位误差只取决于机器人与各信标的相对位置，在工业自动导引小车中用到这种方法。采摘机器人的作业环境复杂，需要机器人根据环境的变化自行确定行走的方向。因此，视觉导航成为采摘机器人自主导航的首选方法。视觉导航技术的基本原理是，利用视觉传感器作为感知元件，获取周边环境的图像。经过图像二值化、滤波等图像处理后，利用Hough变换等技术提取边界信息。然后根据 模式识别技术，确定障碍物的方位和机器人的行走路线。控制器经过路径规划、优化，控制移动机构左右两轮的电机，指挥机器人在无人干涉情况下自主移动到预定的位置。视觉导航需要处理大量的图像数据，需要采用专用的图像处理卡。目前，有些研究者利用DSP芯片实现图像数据的采集、数字化转换、分析和处理的全部功能，直接将处理结果传送给主机。另一方面，目前在基于视觉导航的行走机器人技术方面基本上采用一般的彩色摄像机作为视觉感知元件，要获取采摘机器人周边环境的视频图像往往需要用多个摄像机分别朝着不同的方向进行拍摄，并用多视频图像数据融合的方式进行处理；另一种方案是采用云台技术不断地扫描行走机器人的周边环境；上述这两种方式都会增加硬件和软件成本，造成了在图像分析处理上很大的负担。对于非结构化的采摘环境采用全方位的智能感知是必不可少的。
发明内容
为了克服已有的农作物采摘机器人的自然柔顺性差、机构复杂、控制复杂度高、智能化要求高、制造和维护成本昂贵、容易损伤采摘对象、环境适应性差和采摘效率不高等不足，本发明提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。本发明解决其技术问题所采用的技术方案是—种米摘机器人的自主导航和人机协同米摘作业系统，包括米摘机器人，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机；所述的采摘机器人包括行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent,所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块；所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。进一步，所述的行走行为模块中，采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波数字图像处理，两农作物行间在全景成像上呈现出向着成像中心圆的一条直线；采用Hough变换来检测农作物行中心线；利用Hough变换得到边界线将不连续的边缘像素点连接起来；对采摘机器人采用模糊导航控制，用Yci和Gril表示采摘机器人的期望位置和姿态，导航角Θ Jt)表示采摘机器人的轴线与两作物行中线的偏角，单位rad，导航距Y (t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位mm，转角控制输出δ (t)表示主动导向轮的转角变化量，控制输出μ (t)表示两侧后轮的转速差；将模糊导航控制归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑性；在误差较大时，考虑调整的速度，采用三角形隶属函数；在误差允许范围内，采用曲线型隶属函数；取γ、Θ r、μ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB) ”、“左中(LM) ”、“左小(LS) ”、“零(ZE) ”、“右小(RS) ”、“右中(RM) ”、“右大(RB) ”;通过实验得到参数Y、Θ r、μ和S的有效论域；输入变量Y和Θ ^具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数；建立控制规则，用模糊条件语句来描述控制规则Ri: if Ql is Ai and Q2 is Bij then Ul is Ci and U2 is Di;Ri表示第i条控制规则，Ql表示导航角语言变量，Q2表示导航距语言变量，Ul表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为ApBiXi和Di,根据控制规则建立输入和输出控制规律表，根据输入变量得到相应的输出变量；利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值。所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测过程为1)去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线·校正来完成；2)对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3)对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式(I) 公式(2)表示；Cl=(IDCosY1CosY2)Zsin(YfY2) (I)h=H-b_dXarctan Y 2=H_dXarctan Y1 (2)式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，Y !表示障碍物点A在上全景视觉传感器上成像的入射角，Y2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离；·在检测出障碍物后就需要让采摘机器人采取避障行为，所述避障行为的流程为步骤I)如果没有检测到障碍物，则沿着两作物行中线前进；步骤2)如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3)进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4)关闭避障策略，继续从步骤I)开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现。所述的路径识别行为模块，采用直线路径模型来规划采摘机器人的导航路径，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域。所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行采摘行为模块、转向行为模块、行走行为模块、避障行为模块和路径识别行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1)体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2)体现按采摘作业顺序工作的原则，协调好所述的采摘机器人边行走、边采摘的动作，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。所述的与采摘管理人的交互行为模块，包括以下交互行为1)请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2)接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3)协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4)提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员。所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖。所述的紧急行为模块，所述的紧急行为是所述的采摘机器人优先级最高的行为，在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向采摘管理人员发出请求干预信息，等待采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子 地图上标明了请求干预信息发出采摘机器人的空间位置。所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，识别并跟踪采摘轨迹，采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪。所述采摘管理人员驾驶乘坐在农用拖拉机中，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交。本发明的技术构思为采摘机器人的导航技术是智能型采摘机器人自主完成任务的核心技术。由于采摘机器人的工作特点是作业、移动同时进行，容易受到作物栽培方式以及采摘过程的影响，采摘机器人需要根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策。这其中包括三个主要内容避障、定位和路径规划。因此，采摘机器人需要具有高度自规划、自组织、自适应能力，能适合于在复杂的非结构化环境中工作。理想的采摘机器人的目标是在没有人的干预、无需对环境做任何规定和改变的条件下，有目的地移动和完成相应的采摘任务。但是以目前的自动导航技术水平，要全自动化地完成农作物采摘机器人导航这样复杂的任务仍然存在着很大的困难；在复杂的非结构化环境中采摘机器人发生任何突发事件都是有可能的；理论和实践都表明一味追求高度的智能采摘机器人技术，越来越表现出很强的局限性，需要运用人机一体化的思想，从系统论的角度加以研究；在某些情况下人的核心作用是不可替代的，人的适当参与能有效增强采摘机器人处理突发事件和不精确事件的能力，无线通信技术的发展为采摘机器人与人的协作工作提供了便利；人通过无线通信技术适当地对采摘机器人进行干预，能有效地加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；另外，一个人可以通过无线传感网技术同时管理和控制多个采摘机器人的采摘作业。在人机协同采摘作业方面，采摘机器人擅长什么、人擅长什么，怎么实现优势互补，如何实现优势互补，如何协同工作等这些都需要分析与解决。人-采摘机器人一体化的技术路线是采取以人为主，人与采摘机器人共同组成一个系统，各自执行自己最擅长的工作，在平等合作的基础上，共同认知，共同决策；在实际运行中，相互理解、相互作用、取长补短和协同工作。要实现人-采摘机器人一体化的技术路线，需要充分发挥人与采摘机器人各自的特点，以协同最优为目标。借助一个既能理解人的思维和行为，又能理解采摘机器人行为的中间体，在人与采摘机器人之间建立一种柔性的耦合关系。人具有特有的认知和行为特点，决定了这个中间体只能是由人根据自身特点、经验知识创造的，并具有人类某些重要意识属性和行为特点的“代理人”。这个中间体驻留在与机器紧密相连的人机接口系统中。中间体需要具有适用于不同人的认知和行为特点的能力，这是建立在对人的认知和行为特点充分理解的基础之上的。因此中间体本质上是一个知识系统。让中间体作为人和采摘机器人·之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又避免了人与采摘机器人之间生硬的、刻板的直接接触，增加了系统的柔顺性和灵巧性。人工智能的最新发展，找到了可以充当人与机器中间体的对象，这就是目前在人工智能领域中研究很热的Agent技术。Agent指的是一些具有信念、意图、承诺等认知特性，在一定环境下能持续自主发挥作用，逻辑上相对独立的智能计算实体。一般来说，Agent具有下述特点I)驻留性Agent作为一个逻辑上相对独立的计算实体，是存在于一定的环境之中的，本发明中的Agent驻留在采摘机器人中，Agent的信念、意图、目标以及行为来源于采摘环境感知和人的控制指令，并能通过采摘机器人的动作和行为作用于环境。2)自主性作为一个智能的问题求解器，Agent具有独立控制自己行为和内部状态的能力，在没有人的直接干预下，能适应外界动态多变的采摘环境，独立自主地解决其意识倾向的目标问题，即自主导航和采摘。3)应答性是指Agent能够感知所处的采摘环境和来自于人的控制指令，并能实时地对环境作出应答，如自主避障等，并能接受人的采摘调度控制指令。4)主动性Agent的行为不仅仅表现为简单地对其周围环境作出响应，而且能够适时、适势的采取主动行动，以实现其承诺的目标，如采摘路径规划和采摘区域内自动寻找米摘对象。5)社会性只有把Agent置于Multi-agent系统之中,Agent才能最大程度地发挥其作用，这就需要Agent具有与其它Agent、人、组织进行会话、协商、合作和竞争的能力，以适应复杂多变的动态环境，如大面积棉田的采摘任务的调度。WLAN无线局域网是一种高速无线接入网络，是传统有线网络的延伸。无线局域网具备移动性好，设备安装快速、简单、灵活，投资少、扩展能力强等诸多优点，非常适合于实现人-采摘机器人一体化的技术路线中多Agent的应答性和社会性的需求。无线传感网技术将分布在采摘区域中的采摘机器人与采摘监控中心构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，可以通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。人与采摘机器人协同的目的是“如何让人和采摘机器人更好地协作解决问题”。这里Agent的主要任务是“如何协助人解决问题”。人在人-采摘机器人一体化的采摘管理和控制系统中处于主要支配地位，采摘管理人员主要利用自身知识在不同层次上进行信息的抽取、提炼和融合，对采摘管理和控制系统的目标、状态和行为进行感知和决策，根据自己的需要和采摘机器人的采摘、分级、包装以及运输等需要定制Agent的功能；采摘管理人员向Agent传授知识,从而逐步培养具有一定主动性和智能性的Agent ;采摘管理人员有了新的感知采摘机器人状态的途径。不仅可以通过直接观察来感知采摘机器人的当前状态，还能通过Agent的增强型的反馈来间接感知；Agent成为采摘管理人员执行决策的一种辅助，通过对自身知识的推理,能够向采摘管理人员提供适当的帮助和建议。在人-采摘机器人一体化的采摘管理和控制系统中，采摘机器人摆脱了只能直接与采摘管理人员交互的局面，交互的任务更为明确、直接和柔性化；Agent可以将采摘管理 人员的不精确的、模糊的执行命令转化为具体命令，使采摘机器人接受起来更加容易；采摘机器人的信息感知和处理技术，只需要强调有限智能化，信息的增强、提炼和转化由Agent和人来协同完成。人-采摘机器人一体化的采摘管理和控制系统在三个层面上实现协同，即感知层面、智能层面(主事判断、推理、决策和创造)和执行层面。感知层面上采用采摘机器人上传感器感知。采摘机器人的全景视觉传感器对采摘环境和采摘对象进行精确感知，进而将所感知的部分信息、通过无线传感网传递给采摘管理人员，由采摘管理人员分析，进而给出决策；同时也为采摘机器人的执行层面提供有限智能控制和管理。智能层面采用采摘管理人员与采摘机器人共同决策。采摘管理人员主要从事形象思维、灵感思维等创造性思维，采摘管理人员的中枢神经系统通过对人、采摘机器人、采摘环境所感知信息的综合处理、判断、决策，通过无线传感网向采摘机器人的控制系统发出控制指令。同时采摘机器人的控制系统根据自身感知的综合信息进行复杂的快速计算和严密的逻辑推理，在常规情况下自动做出必要选择，驱动自动导航模块和采摘模块完成相应的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预。在智能层面上，采摘管理人员需要做出采摘机器人、采摘区域和采摘时间的采摘作业调度决策；如大面积棉田的棉花采摘，采摘调度的复杂性、随机性和动态性使得单纯依靠采摘机器人本身的智能很难获得优化的调度解，采用人机协同的方式将人和采摘机器人的优势结合起来解决采摘作业调度难题是一种可行的技术路线。采摘管理人员根据感知层面上所获得的采摘环境等信息以及采摘目标任务制定采摘机器人-时间甘特图和采摘区域-时间甘特图，最后将采摘任务分派给分布在各采摘区域的采摘机器人。在智能层面上，采摘管理人员需要对采摘机器人处于非常规情况下的事件进行综合分析、处理和判断，比如采摘机器人发生意外颠倒、无法行走、较长时间寻找不到采摘对象等等，采摘人员根据事件的类型进行干预。
在智能层面上，采摘机器人需要做到根据规定的采摘区域和采摘作物生长情况实现自动导航，根据在采摘环境中行走过程中所遇到的障碍物实现自动避障，在采摘环境中行走过程中自动识别采摘对象，根据采摘对象的大小、形状和颜色对采摘对象进行分类，根据所识别采摘对象分析出其空间位置并控制采摘机器手对准采摘对象进行采摘，根据采摘机器人的收集采摘对象容器中的采摘量的多少确定采摘机器人需要回到采摘收集处，根据采摘机器人的供电电源或者供能情况确定是否需要进行能源补充等。执行层面上由采摘机器人执行自动导航和采摘任务。采摘机器人在田间作业时，采摘区域主要分为已收获区、未收获区、田端、田外区域等四个区域。在制定采摘机器人-时间甘特图和采摘区域-时间甘特图后，采摘管理人员就分派给各采摘机器人完成未收获区内采摘任务，各采摘机器人需要制定相应的遍历路径规划，遍历路径规划是一种特殊的路径规划方法，它涉及到一条可行路径的规划，以便使采摘机器人运行轨迹充满一整块区域，也就是指采摘机器人完全覆盖所有无障碍区域的运动。·
采摘机器人运动控制包括底层控制和上层控制两大部分，底层运动控制涉及的内容主要包括伺服控制、轨迹跟踪、路径跟踪、反馈镇定、采摘机器手的控制等，上层运动控制包括视觉分析、定位、障碍物检测与避障、路径规划、导航、视觉跟踪、遥控操作以及人机协同等。采摘机器人视觉导航时，一般选择农作物区域和非农作物区域之间的分界线，或直接以行状农作物目标作为导航路径。理论上，可以利用图像处理中的区域分割以及边缘检测的方法来检测此分界线；但是由于农田处于非结构化自然环境中，采摘对象生长区域往往由许多个体植株组成，内部结构复杂，一致性比较差；考虑到农作物或果树等目标自然形成的行线基本上都为直线，采摘机器人前进方向局部范围内近似呈直线，因此，可以采用直线路径模型来规划采摘机器人的导航路径，这样导航控制的目标是使采摘机器人沿两农作物行间自主前进，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出。超宽带通信技术是一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术。这种通信技术具有隐蔽性好、穿透能力强、定位精度高以及功耗低等特点，在人-采摘机器人一体化的采摘管理和控制系统中，具有十分重要的现实作用，这种超宽带通信技术能方便的构成人-采摘机器人之间通信的传感网，同时也能为采摘机器人的空间定位以及轨迹跟踪提供准确信息。实现行走系列的采摘机器人的关键是1)以农作物行中心线为基准线的基于全景视觉的自动导航技术，实现其自主行走；2)在采摘机器人的信息感知和处理方面采用有限智能化方法来加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；3)设计一种具有一定主动性和智能性的Agent，作为人和采摘机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又可避免人与采摘机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性。本发明的有益效果主要表现在1)采用了以农作物行中心线为基准线的基于全景视觉的自动导航技术，实现了采摘机器人的自主行走；2)在采摘机器人的信息感知和处理方面采用有限智能化方法来加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；3)设计一种具有一定主动性和智能性的Agent，作为人和采摘机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又可避免人与采摘机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性；4)采用超宽带通信技术，方便地构成人-采摘机器人之间通信的无线传感网，便于实现人-机协同采摘作业，同时也为分布在采摘区域中的各采摘机器人的空间定位以及轨迹跟踪提供准确信息；5)在人-机协同采摘作业过程中，人的适当参与有效地增强采摘机器人处理突发事件和不精确事件的能力；另一方面，常规情况下的事件和重复性的采摘作业均由采摘机器人自主处理和完成，极大的解放了人的劳动强度，拓广了采摘管理人员的管理范围，提高了采摘效率；6)运用人机协同的观点，发挥人在农作物采摘控制与管理中的核心作用，强调人与采摘机器人在两者共同组成的系统中协同工作，实现有效的信息集成与系统优化，充分发掘和利用计算机及无线网络通讯技术最新成果的技术优势，通过人与采摘机器人的有机结合，获得最佳协调效益和综合效益。
图I为一种仿生农作物采摘机器人的正视图； 图2为构建人-机协同采摘作业通信环境的无线传感网的拓扑图；图3为一种仿生农作物米摘机器人系统框图；图4为棉花采摘现场的图像；图5为采摘机器人自主行走部分的控制原理图；图6为驻留在采摘机器人中的Agent的功能框图；图7为某一采摘机器人进行迂回遍历采摘区域的轨迹图；图8为全景立体成像原理以及全景立体视觉范围的说明图，其中，(a)为所述的全景立体视觉传感器的外观图，(b)表示了全景立体成像的空间物点检测模型，(C)表示了全景立体成像的成像范围；图9为一种采用气动人工肌肉技术来实现采摘机器手的示意图；图10为在采摘现场实现人-机协同采摘作业的示意图；图11为全景立体视觉检测障碍物的说明图；图12为模糊控制器控制采摘机器人自主行走和避障的控制框图；图13为全景立体视觉传感器中的上全景视觉传感器所采集的采摘现场图像；图14为基于全景立体视觉的障碍物检测流程框图。
具体实施例方式下面结合附图对本发明作进一步描述。参照图I 图14, 一种米摘机器人的自主导航和人机协同米摘作业系统,包括米摘机器人的行走部分，用于采摘农作物对象的采摘机器人的采摘机器手，用于实现采摘机器人的自主导航、避障、定位和路径规划等功能的智能体，以下简称Agent，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网，用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机，用于获取采摘区域全景立体视频图像的全景立体视觉传感器，用于对采摘机器人处于非常规情况下的事件进行人工干预的以及对采摘机器人进行采摘调度规划的采摘管理人员，用于乘载采摘管理人员以及收集和运输采摘对象的农用拖拉机；所述的采摘机器人主要包括所述的行走部分、所述的采摘机器手、所述的全景立体视觉传感器和所述的Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；所述的行走部分，采用四轮行走机器人，如附图I、附图3所示，其中两个后轮为独立的主动轮，两个前轮为主动导向轮，主动导向轮由小功率高减速的电机驱动，控制导向轮的转角，两个主动轮分别由两个轮毂电机驱动；采摘机器人的行走部分按照电机协调算法把行走部分的运动要求分解为对三个电机的控制命令，最后控制导向轮的转动和两个后轮的差动来实现行走部分的运动；设计时行走部分本体的最大宽度值不能超过采摘农作物垄 间狭窄宽度，行走部分本体设计按照工业机器人现有技术规范进行设计；所述的采摘机器手，采用一种基于气动人工肌肉的采摘管道，其外形呈管三自由度肌肉状，如附图9所示，管内分隔成三个互成120°的扇形柱状空腔，分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，从而实现三个自由度的控制；通过控制三个空腔的压力使得采摘管道的采摘口对准采摘对象；当采摘口对准采摘对象时控制脉冲式真空发生模块动作产生脉冲式真空气流将采摘对象吸入到采摘管道中；所述的全景立体视觉传感器，如附图8所示，附图8(a)为所述的全景立体视觉传感器的外观图，附图8(b)表示了全景立体成像的空间物点检测模型，附图8(c)表示了全景立体成像的成像范围，主要用于获取仿生农作物采摘机器人周边的全景立体视觉视频图像，通过USB接口与所述的Agent的硬件连接；所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，附图2为采摘管理人员与采摘机器人之间构成的无线传感网拓扑图，无线定位技术为采摘机器人的空间定位提供信息；具体采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，可以通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制；所述的采摘管理人员驾驶乘坐在所述的农用拖拉机中，如附图10所示，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交互；
所述的采摘管理人员根据感知层面上所获得的采摘环境等信息以及采摘目标任务制定采摘机器人-时间甘特图和采摘区域-时间甘特图，然后将采摘任务分派给分布在各采摘区域的所述的采摘机器人中驻留的所述的Agent ；所述的Agent，驻留在所述的采摘机器人中，其硬件主要包括:A/D转换器、D/A转换器、并行I/O接口、USB接口、存储单元、CPU、无线通信模块，如附图3所示；其软件主要包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块，如附图6所示；所述的Agent驻留在所述的采摘机器人中，如附图2、附图3所示；所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖，遍历路径规划如附图7所示；所述的紧急行为模块，主要是基于安全因素的考虑，所述的紧急行为是所述的采摘机器人优先级最高的行为，一般在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向所述的采摘管理人员发出请求干预信息，等待所述的采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子地图上标明了请求干预信息发出采摘机器人的空间位置；所述的路径识别行为模块，考虑到农作物或果树等目标自然形成的行线基本上都为直线，如附图4所示，所述的采摘机器人前进方向局部范围内近似呈直线，因此，可以采用直线路径模型来规划采摘机器人的导航路径，这样导航控制的目标是使采摘机器人沿两农作物行间自主前进，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；本发明中将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域；由于棉花等农作物的采摘延续时间长，需要进行分阶段采摘，采摘后农作物本体仍然生长的田间；因此，仅仅用视觉方式来区分已收获区和未收获区存在着较大困难，本发明采用无线定位技术记录每个所述的采摘机器人的行走轨迹，某个阶段中在电子地图上所述的机器人遍历的轨迹区域作为已收获区；反之作为未收获区，对于田端和田外区域用前反馈神经网络的方法来进行识别；所述的避障行为模块，当采摘机器人遇到采摘环境中的障碍时执行避障行为，它的目的是当采摘机器人在行走的路径中遇到障碍物的时候，使采摘机器人顺利地避开障碍，并对障碍周围区域进行充分覆盖采摘；·
所述的行走行为模块，当所述的路径识别行为模块所识别的结果基本上是沿两农作物行间行走时，调整采摘机器人的方向角与沿两农作物行间方向一致，等待所述的协调行为模块的激活；
所述的定位行为模块，采摘机器人根据原始位置和已运行的距离、方向并由定位系统和定位算法确定自身状态的行为，是采摘机器人实现自主运动的基础行为；所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，需要识别并跟踪采摘轨迹的行为是采摘机器人主要的行为，本发明中采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪；所述的采摘边界识别行为模块，采摘边界识别行为是采摘机器人在行走中通过根据所述的定位行为模块对其在采摘中的位置和已建立的区域地图上目标点进行比较，从而识别是否到达边界的过程；所述的转向行为模块，当所述的采摘机器人的所述的避障行为模块检测到田埂边界或障碍边界即切换到转向行为，该行为与采摘机器人的路径跟踪行为配合完成的全区域覆盖米摘任务；所述的采摘对象的识别和分类行为模块，根据所述的全景立体视觉传感器获得的·全景视频信息，采用数字图像处理技术对采摘对象的特征进行识别和分类；如对棉花的采摘，对成熟的棉桃进行高、中、低分类，而对未成熟的棉桃置之不理；所述的采摘对象的空间定位行为模块，根据所述的采摘对象的识别和分类行为模块所识别和分类的结果，并根据所述的全景立体视觉传感器获得的全景视频信息，依据立体成像原理计算出采摘对象的空间位置，从而为采摘机器手提供采摘对象的空间位置信息；所述的采摘行为模块，主要用于直接控制采摘机器手的动作，当所述的采摘对象的空间定位行为模块计算出采摘对象的空间位置后，所述的采摘行为模块驱动采摘机器手的动作对准采摘对象并控制脉冲式真空发生模块动作产生脉冲式真空气流将采摘对象吸入到采摘管道中；所述的协调行为模块，分为外部协调和内部协调，内部协调主要对上述各行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1)体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2)体现按采摘作业顺序工作的原则，主要是协调好所述的采摘机器人边行走、边采摘的动作，以保证在采摘时刻不行走，在行走中不采摘，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；对于迂回式的米摘作业顺序是行走一米摘一…行走一米摘一转向一行走一采摘一…；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中；所述的与采摘管理人的交互行为模块，主要有以下几类交互行为1)请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2)接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3)协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4)提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员；在所述的行走行为模块中，考虑到全景机器视觉的敏感性和田间环境的复杂性，在本发明中采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波等数字图像处理，两农作物行间在全景成像上基本上呈现出向着成像中心圆的一条直线，如附图13中的一条粗黑线，关于全景视觉成像原理和全景立体视觉测量原理参见论文“同向式双目立体全方位视觉传感器的设计，传感技术学报，2010 (23)第6期，Ρ79Γ798”；本发明采用Hough变换来检测农作物行中心线，Hough变换是利用图像的全局特性而检测已知图形参数的一种方法；在前面已经定义了直线路径模型的情况下，利用Hough变换得到边界线将不连续的边缘像素点连接起来；Hough变换的主要优点是受噪声和曲线间断的影响较小，这对农田环境中检测采摘机器人跟踪路径有效；关于Hough变换的实现算法参见教科书“计算机视觉-一种现代方法，电子工业出版社，ISBN7-120-00086-1”;本发明对采摘机器人采用模糊导航控制，控制流程如图12所示，用Ytl和表示采摘机器人的期望位置和姿 态，导航角Θ Jt)表示采摘机器人的轴线与两作物行中线的偏角，单位rad，导航距Y (t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位mm，转角控制输出δ (t)表示主动导向轮的转角变化量，控制输出μ (t)表示两侧后轮的转速差；本发明的模糊导航控制可以归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑，有利于控制的平稳性；在误差较大时，主要考虑调整的速度，采用三角形隶属函数；在误差允许范围内，主要考虑平稳性，采用曲线型隶属函数；取Y、θρμ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB) ”、“左中(LM) ”、“左小(LS) ”、“零(ZE) ”、“右小(RS) ”、“右中(RM) ”、“右大(RB) ” ；通过实验得到参数Y、θρμ和δ的有效论域；输入变量Y和Qr具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数；进一步，建立控制规则，用模糊条件语句来描述控制规则Ri: if Ql is Ai and Q2 is Bij then Ul is Ci and U2 is Di;Ri表示第i条控制规则，Ql表示导航角语言变量，Q2表示导航距语言变量，Ul表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为ApBiXi和Di,根据控制规则建立输入和输出控制规律表，实际应用中，只要根据输入变量就能得到相应的输出变量；更进一步，利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值，关于解模糊化的原理参见模糊控制技术的相关书籍；所述的避障行为模块，其核心是要通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测算法的主要思路是1)去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2)对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3)对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；检测算法实现步骤如附图14所示；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式(I) 公式(2)表示；Cl=(IDCosY1CosY2)Zsin(YfY2) (I)h=H-b_dXarctan Y 2=H_dXarctan Y 丨(2)式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，Y !表示障碍物点A在上全景视觉传感器上成像的入射角，Y2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离，障碍物计算检测原理如附图11所示；进一步，在检测出障碍物后就需要让采摘机器人采取避障行为，避障行为的算法·流程为步骤I)如果没有检测到障碍物，则沿着两作物行中线前进；步骤2)如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3)进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4)关闭避障策略，继续从步骤I)开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现；所述的基于气动人工肌肉的采摘管道，其外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，从而实现三个自由度的控制，如附图9和附图3所示；在所述的基于气动人工肌肉的采摘管道的内外管壁的橡胶基体中，夹有芳香族聚酰胺增强纤维，纤维走向与肌肉的轴向有一夹角α，本发明中考虑到所述的基于气动人工肌肉的采摘管道的柔软性，将夹角α设计为70° 10° ;这样由于纤维单方向增强效果的影响，沿垂直于纤维方向的变形比沿纤维方向变形容易得多；为了便于工业化大规模生产，本发明采用模具制作方式制造所述的基于气动人工肌肉的采摘管道，将所述的基于气动人工肌肉的采摘管道分成若干个部件，包括管道终端I、管道终端密封体2、管道本体3、管道连接密封体4、管道连接法兰5和通气管6 ;构成最简单的所述的基于气动人工肌肉的采摘管道的方式是将所述的管道终端密封体2插入所述的管道本体3的一端，接着将所述的管道终端I盖住所述的管道终端密封体2并用自攻螺钉7将所述的管道终端密封体2和所述的管道本体3的一端固定在一起；进一步，将所述的管道连接密封体4插入所述的管道本体3的另一端，接着将所述的管道连接法兰5的三个孔对准所述的管道连接密封体4的三个孔并盖住，然后用自攻螺钉7将所述的管道连接密封体4和所述的管道本体3的另一端固定连接在一起，最后将三根通气管6分别插入所述的管道连接法兰5的三个孔中，如附图9所示；所述的计算机,作为无线访问接入点(AP, Access Point),接入点和安置在采摘机器人中的无线网卡都配有高增益天线，本发明采用朗讯无线网桥AP-1000作为接入点，与WaveLAN / PCMCIA无线网卡共同实现无线通信，以无线方式入网的采摘机器人具有可移动性，在一定的区域移动而同时又随时与所述的计算机保持通信联系，一个AP，即一台所述的计算机可支持100多个采摘机器人的接入，最大传输范围可达几十千米，完全满足大面积农作物人-机协同采摘的需要。
权利要求
1.一种采摘机器人的自主导航和人机协同采摘作业系统，其特征在于包括采摘机器人，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机； 所述的采摘机器人包括行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent,所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预； 所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块； 所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。
2.如权利要求I所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的行走行为模块中，采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波数字图像处理，两农作物行间在全景成像上呈现出向着成像中心圆的一条直线；采用Hough变换来检测农作物行中心线；利用Hough变换得到边界线将不连续的边缘像素点连接起来；对采摘机器人采用模糊导航控制，用Yci和Qril表示采摘机器人的期望位置和姿态，导航角Θ Jt)表示采摘机器人的轴线与两作物行中线的偏角，单位rad，导航距Y (t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位mm，转角控制输出δ (t)表示主动导向轮的转角变化量，控制输出μ (t)表示两侧后轮的转速差； 将模糊导航控制归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑性；在误差较大时，考虑调整的速度，采用三角形隶属函数；在误差允许范围内，采用曲线型隶属函数；取Y、θρ μ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB) ”、“左中(LM) ”、“左小(LS) ”、“零(ZE) ”、“右小(RS) ”、“右中(RM) ”、“右大(RB) ”;通过实验得到参数Y、Θ r、μ和S的有效论域；输入变量Y和Θ ^具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数； 建立控制规则，用模糊条件语句来描述控制规则Ri: if Ql is Ai and Q2 is Bij then Ul is Ci and U2 is Di; Ri表示第i条控制规则，Ql表示导航角语言变量，Q2表示导航距语言变量，Ul表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为ApBiXi和Di,根据控制规则建立输入和输出控制规律表，根据输入变量得到相应的输出变量； 利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值。
3.如权利要求2所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测过程为1)去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2)对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3)对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式(I广公式(2)表示； d= (bcos Y !cos Y2)/ sin ( Y j- Y 2) (I)h = H-b-dXarctan y 2 = H_dXarctan Y1 (2) 式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，Y i表示障碍物点A在上全景视觉传感器上成像的入射角，Y2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离； 在检测出障碍物后就需要让采摘机器人采取避障行为，所述避障行为的流程为步骤I)如果没有检测到障碍物，则沿着两作物行中线前进；步骤2)如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3)进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4)关闭避障策略，继续从步骤I)开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现。
4.如权利要求3所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的路径识别行为模块，采用直线路径模型来规划采摘机器人的导航路径，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域。
5.如权利要求4所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行采摘行为模块、转向行为模块、行走行为模块、避障行为模块和路径识别行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1)体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2)体现按采摘作业顺序工作的原则，协调好所述的采摘机器人边行走、边采摘的动作，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。
6.如权利要求广5之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的与采摘管理人的交互行为模块，包括以下交互行为1)请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2)接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3)协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4)提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员。
7.如权利要求I飞之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖。
8.如权利要求f6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的紧急行为模块，所述的紧急行为是所述的采摘机器人优先级最高的行为，在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向采摘管理人员发出请求干预信息，等待采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子地图上标明了请求干预信息发出采摘机器人的空间位置。
9.如权利要求f6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，识别并跟踪采摘轨迹，采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪。
10.如权利要求I飞之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于所述采摘管理人员驾驶乘坐在农用拖拉机中，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Ag ent进行信息交互。
全文摘要
一种采摘机器人的自主导航和人机协同采摘作业系统，包括采摘机器人的行走部分，采摘机器手，用于自主导航、避障、定位和路径规划等功能的Agent，用于完成人-机协同采摘信息交互的无线传感网，用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机，用于获取采摘区域全景立体视频图像的全景立体视觉传感器。本发明提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。
文档编号A01D46/30GK102914967SQ201210355140
公开日2013年2月6日 申请日期2012年9月21日 优先权日2012年9月21日
发明者汤一平, 俞立, 孙明轩, 徐建明, 欧林林, 陈国定, 邢科新, 倪洪杰, 余世明, 何德峰, 董辉 申请人:浙江工业大学