基于无线网络的远程交互果实采摘协同异步控制系统及方法
【专利摘要】一种数据识别领域的基于无线网络的远程交互果实采摘协同控制系统，包括：视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块、网络传输模块、人机交互模块、三维坐标解算模块和机器人任务列表模块，本发明基于无线网络的协同异步控制，使得果实采摘机器人的果实识别、定位与执行采摘异步，提高效率；同时，本系统发挥了人在非结构化环境下辨识能力和机器人精确定位各自的优势，识别空间范围广，识别种类不限，能判断果实成熟与否。
【专利说明】基于无线网络的远程交互果实采摘协同异步控制系统及方法
【技术领域】
[0001]本发明涉及的是一种数据识别领域的系统及方法，具体是一种基于无线网络的远程交互果实采摘协同控制系统及方法。
【背景技术】
[0002]无线网络的发展，特别是IEEE802.11标准的发展，使传输速率、通信距离不断增力口，使得机器人无线控制成为可能。基于802.11标准的无线局域网(Wlan)是使用最广泛的无线局域网技术，其性价比高、组网灵活方便，这使其在农业机械化和智能化有重要的使用价值。
[0003]果实采摘机器人是针对果实采摘这一特定的任务专门设计的机器人。目前，研究和已开发出的果实采摘机器人的果实识别和定位模块都位于机器人本体上。英国的Silsoe研究院研制了蘑菇采摘(1994年)，采摘成功率在75%左右，采摘速度为6.7个/s，生长倾斜是采摘失败的主要原因。荷兰农业环境工程研究所研制出黄瓜收获机器人(1996年)，黄瓜检测成功率大于90%，采摘成功率约80%，但采摘速度约为54s/个，时间较长不能满足商用。韩国庆北大学研制了苹果采摘机器(1998年)从树冠外部识别苹果的识别率达85%，速度达5个/s，成功率不能满足应用要求。上海交通大学曹其新等开发出草莓识别算法(2008年)，在实验室环境中，平均判别速度为ls，果柄误判率为7%，采摘过程对5%的果实造成损伤。中国农业大学纪超、李伟等人开发出黄瓜采摘机器人，采收成功率达85%，单根黄瓜采摘耗时28.6s，具有较高的实用性。受机器人运算能力的限制，识别和定位环节准确率低、耗时长，不能投入实际生产应用。
[0004]经过对现有技术的检索发现，中国专利文献号CN102682286A，
【公开日】2012.09.19，公开了一种基于激光视觉系统的采摘机器人果实识别方法技术，该技术的简述为:将激光测距仪与直线平移机械机构合构为激光视觉系统，获取果树局部距离信息，利用距离值与灰度值的约定关系生成标记场景远近特征的三维图像。平滑该三维图像后，采用链码跟踪技术及随机圆检测法计算图像中果实的形心坐标与半径。
[0005]但该技术与本发明相比的缺陷及不足在于:识别空间范围具有局限性:仅能对局部进行处理，难以对果树上的全部果实进行有效识别；识别种类范围具有局限性:只能对圆形的果实进行处理；不能判断果实的成熟程度，使得后续的采摘作业采摘到未成熟的果实，造成经济损失。
【发明内容】
[0006]本发明针对现有技术存在的上述不足，提供一种基于无线网络的远程交互果实采摘协同控制系统及方法，使得果实采摘机器人的果实识别、定位与执行采摘异步，提高效率。
[0007]本发明是通过以下技术方案实现的:[0008]本发明涉及一种基于无线网络的远程交互果实采摘协同异步控制系统，包括:视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块、网络传输模块、人机交互模块、三维坐标解算模块和机器人任务列表模块，其中:
[0009]视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块和机器人任务列表模块设置于机器人上，人机交互模块和三维坐标解算模块设置于主控计算机；
[0010]机器人任务列表模块向视觉信息模块和机器人姿态和位置信息米集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机的人机交互模块，人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列，各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于当前双目摄像头坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的采摘动作。
[0011]所述的视觉信息采集模块包括:两台设置于机器人上的摄像头和用于压缩图像信息的图像压缩模块。
[0012]所述的网络传输模块包括:应用层、网络层、运输层和物理层，其中:应用层采用自定义协议，网络层采用TCP协议，运输层采用IP协议簇，物理层包括:相互通讯的无线全向接入点组、集线器和无线定向中继，无线全向接入点组与机器人相通讯，无线定向中继与主控计算机相通讯。
[0013]所述的自定义协议具体包括:时间戳、信息类型、首部校验部、指令部。
[0014]所述的机器人任务列表模块包括:用于发出时间戳的新建任务单元，用于读取、变换坐标序列以及排序未完成任务的任务管理单元，用于释放已完成任务所占的硬件资源的资源释放单元。
[0015]本发明涉及上述系统的控制方法，该方法创建时间戳，对应时间戳采集果实的图像信息和机器人姿态和位置信息，为图像信息建立坐标序列作为机器人的任务列表，机器人根据该任务列表进行采摘动作，包括以下步骤:
[0016]步骤一、机器人任务列表模块向视觉信息模块和机器人姿态和位置信息采集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机；
[0017]步骤二、主控计算机的人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列；
[0018]步骤三、各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于当前两台摄像机坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的采摘动作。[0019]所述的步骤一具体包括以下步骤:
[0020]I)机器人的任务列表模块向视觉信息采集模块、机器人姿态和位置信息采集模块发出时间戳；
[0021]2)视觉采集模块使用其两台设置于机器人双目位置的摄像机拍摄并压缩两路图像信息的图帧，与对应的时间戳一并传输至网络传输模块；
[0022]3)网络传输模块封装时间戳和图帧，传输给主控计算机；
[0023]4)机器人姿态和位置信息采集模块采集姿态和位置信息并为接收到的时间戳建立断点标志。
[0024]所述的姿态和位置信息包括:用于描述机器人位置的罗盘输出信息、主动轮电机编码器输出信息和双目摄像头所在的云台的高度和俯仰角。
[0025]所述的断点标志为指向收到时间戳时的姿态和位置信息存储地址的指针。
[0026]所述的步骤二具体包括以下步骤:
[0027]I)网络传输模块的应用层将获取的信息拆包，得到时间戳和压缩后的图像信息；
[0028]2)经过解压后的图像信息显示于人机交互模块的可视界面，确定两台摄像头拍摄的两幅图像上的待采摘果实，在同一帧的两幅图像中匹配好果实位置，由三维坐标解算模块算出各个待采摘果实的三维世界坐标(xwywzw)，依次匹配计算完图像上所有的果实；
[0029]所述的各个待采摘果实的三维世界坐标计算过程具体包括以下步骤:
[0030]2.1)果实相对于单个摄像头的二维坐标(X，y):
[0031]
【权利要求】
1.一种基于无线网络的远程交互果实采摘协同异步控制系统，其特征在于，包括:视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块、网络传输模块、人机交互模块、三维坐标解算模块和机器人任务列表模块，其中: 视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块和机器人任务列表模块设置于机器人上，人机交互模块和三维坐标解算模块设置于主控计算机； 机器人任务列表模块向视觉信息模块和机器人姿态和位置信息采集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机的人机交互模块，人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列，各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于双目摄像头坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的米摘动作。
2.根据权利要求1所述的系统，其特征是，所述的视觉信息采集模块包括:两台设置于机器人上的摄像头和用于压缩图像信息的图像压缩模块。
3.根据权利要求1所述的系统，其特征是，所述的机器人任务列表模块包括:用于发出时间戳的新建任务单元，用于读取、变换坐标序列以及排序未完成任务的任务管理单元，用于释放已完成任务所占的硬件资源的资源释放单元。
4.一种用于权利要求1-3中任一项所述系统的控制方法,其特征在于,该方法创建时间戳，对应时间戳采集果实的图像信息和机器人姿态和位置信息，为图像信息建立坐标序列作为机器人的任务列表，机器人根据该任务列表进行采摘动作，包括以下步骤: 步骤一、机器人任务列表模·块向视觉信息模块和机器人姿态和位置信息采集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机； 步骤二、主控计算机的人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列； 步骤三、各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于两台摄像机坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的采摘动作。
5.根据权利要求4所述的方法，其特征是，所述的步骤一具体包括以下步骤: 1)机器人的任务列表模块向视觉信息采集模块、机器人姿态和位置信息采集模块发出时间戳； 2)视觉采集模块使用其两台设置于机器人双目位置的摄像机拍摄并压缩两路图像信息的图帧，与对应的时间戳一并传输至网络传输模块； 3)网络传输模块封装时间戳和图帧，传输给主控计算机；.4)机器人姿态和位置信息采集模块采集姿态和位置信息并为接收到的时间戳建立断点标
志O
6.根据权利要求4或5所述的方法，其特征是，所述的步骤二具体包括以下步骤: O网络传输模块的应用层将获取的信息拆包，得到时间戳和压缩后的图像信息； .2)经过解压后的图像信息显示于人机交互模块的可视界面，确定两台摄像头拍摄的两幅图像上的待采摘果实，在同一帧的两幅图像中匹配好果实位置，由三维坐标解算模块算出各个待采摘果实的三维世界坐标(xwywzw)，依次匹配计算完图像上所有的果实。
7.根据权利要求6所述的系统，其特征是，所述的各个待采摘果实的三维世界坐标计算过程具体包括以下步骤: .2.1)果实相对于单个摄像头的二维坐标(X，y):
8.根据权利要求4或5所述的方法，其特征是，所述的步骤三的变换矩阵是指:姿态和位置信息采集模块为待处理任务时间戳设信息断点，据该信息断点处姿态和位置描述矩阵、当前姿态和位置描述矩阵得到待采摘果实相对于两台摄像机坐标系的坐标序列。
9.根据权利要求8所述的方法，其特征是，所述的步骤三具体包括步骤: .1)各个待采摘果实的三维世界坐标与时间戳由网络传输模块返回机器人任务列表模块； .2)变换矩阵:设信息断点处机器人的姿态和位置描述矩阵为Stl,当前机器人的姿态和位置描述矩阵为Sp，摄像机变换矩阵Sc，如下式表示: Sp=Sc.SO,即Sc = Sp.S0-1; ywZw表示各个待采摘果实的三维世界坐标，待采摘果实相对与当前两台摄像机的坐标系xp、yp、zp为:
【文档编号】G06T7/00GK103716399SQ201310746643
【公开日】2014年4月9日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】刘成良, 刘佰鑫, 贡亮, 赵源深, 陈冉, 牛庆良, 黄丹枫 申请人:上海交通大学