专利名称：一种温室环境下黄瓜采摘机器人系统及采摘方法
技术领域：
本发明涉及智能机器人技术领域，特别是涉及一种温室环境下黄 瓜釆摘机器人系统及釆摘方法。
背景技术：
随着计算机和自动控制技术的迅速发展，农业机械将迈入高度自 动化、智能化时期。机器人已经逐步渗入到农业生产中，特别是在设 施农业的生产过程中，机器人的使用将成为农业向自动化和智能化发
展的重要标志。在果蔬生产作业中，收获采摘约占整个作业量的40%。 釆摘作业质量的好坏直接影响到果蔬的存储、加工和销售，从而最终 影响巿场价格和经济效益。由于釆摘作业的复杂性，采摘自动化程度 仍然很低，目前国内果蔬采摘作业基本上还是手工完成，尤其在温室 内，工作环境较差，收获作业的劳动强度大，因此研究适用温室环境 果实釆摘机器人具有重要意义。
果实釆摘机器人的首要任务是识别和定位出目标，以便为收获机 械提供可靠的运动参数，并最终完成果实的釆摘。因此，视觉部分信 息处理准确与否直接关系到最终收获机器人执行精度和釆摘效率。农 业机器人又与某种非结构环境相联系，作业空间结构复杂、信息多义 及弱鲁棒性，较之一般工业机器人其应用难度更大，这对前端视觉感 知提出更高的要求。加之与诸多果蔬(如苹果、西红柿、樱桃、甜橙) 相比，黄瓜颜色特征更接近于瓜叶、茎秆，目标背景多元、近似信息 叠加成为果实信息提取的难点。
发明内容
本发明实施例要解决的问题是提供一种温室环境下黄瓜釆摘机 器人系统及采摘方法，以实现机器人的自动导航和黄瓜的自动收获。
为达到上述目的，本发明实施例的技术方案提供 一种温室环境下 黄瓜釆摘机器人系统，所述系统包括
双目立体视觉系统，用于釆集黄瓜图像，实时加以处理，获取收 获目标的位置信息；
机械臂装置，用于根据所述收获目标的位置信息，进行所述收获
目标的抓取和分离；
机器人移动平台，用于在温室环境下自主运动；
所述双目立体视觉系统包括
两个黑白摄像机；
双通道视觉实时处理器，与所述两个黑白摄像机连接，用于完成 两路视频釆集、图像识别及坐标运算；
所述机械臂装置包括
执行机构；
运动控制卡，用于根据所述收获目标的位置信息进行轨迹规划， 并下发运动指令；
关节驱动器，用于根据所述运动指令，带动所述执行机构实现所 述收获目标的抓取和分离动作；
所述机器人移动平台包括
行走机构；
电机驱动器，用于驱动所述行走机构；
云台摄像头，用于获取环境图像信息；
处理器，用于分析所述图像信息，获取并下发导航参数；
运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动 所述执行机构进行运动。
其中，所述双目立体视觉系统还包括照明装置，用于提供适于收 获目标的识别釆摘的光照环境；所述照明装置包括对称阵列分布的四 个光源和自适应能量输出的直流电源模块，所述电源模块用于给所述
四个光源提供电源。
其中，所述双目立体视觉系统还包括滤光设备，分别安装于所述 两个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透 过率大于90%的窄带干涉滤光器。
其中，所述双目立体视觉系统还包括支架，所述支架以套简方式 固定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据 需要完成所述双目立体视觉系统的升降和旋转。
其中，所述机械臂装置釆用5自由度设计，包括基座旋转、肩关 节俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。
其中，所述双目立体视觉系统与机械臂装置之间釆用网口和
RS232串口连接，进行通信。
其中，所述双目立体视觉系统与机器人移动平台之间釆用RS232 串口连接，进行通信。
本发明实施例的技术方案还提供一种温室环境下黄瓜釆摘方法， 所述方法包括以下步骤
51. 启动机器人移动平台沿导航线运动，双目立体视觉系统的右 摄像机进行单通道视频实时釆集；
52. 对每帧右摄像机图像快速搜索，判断视场果实数量、成熟度
及大小；
53. 搜索到收获目标后，机器人移动平台停止运动，启动双通道
视频釆集；
54. 左右摄像机同步获取场景中的收获目标的近红外图像，确定 左右图像中各收获目标的抓取点位置；
55. 判断摄像机公共视场范围内是否有对应匹配点；
56. 当有对应匹配点时，根据左右图像抓取点的视差进行三维信 息重建；
57. 双通道视觉实时处理器计算目标抓取点到双目立体视觉系
统坐标原点的坐标，将距离最近的抓取点目标作为当前釆摘对象，并 由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得 出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运 动控制卡；
S8.机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并 给出各关节的最佳运动参数，引导执行机构进行准确釆摘。
其中，在所述步骤S1之前，还包括改变黄瓜釆摘机器人系统
的工作环境，釆用斜拉线栽培模式。
其中，在所述步骤S8之后，还包括重复步骤S4 S9，对所述 场景范围内的多个收获目标进行连续釆摘，直至无对应抓取点，重新 进行步骤S1。
与现有技术相比，本发明的技术方案具有如下优点
1、 黄瓜采摘机器人系统采用模块化设计理念，结构简单，集成 度高，有助于提高机器人的环境适应能力和工作效率。
2、 光照环境方案有效地减少自然光对图像的影响，提高图像获 取质量。
3、 釆用滤光片与高感度摄像机相结合的信息获取模式从绿色背 景中提取果实特征，在很大程度上降低图像处理难度，提高检测精度。
4、 选用大基线距、会聚式双目立体视觉模型，提高近距离目标 系统测量精度，为部分遮盖果实探测提供了一个有效解决方案。
5、 双目立体视觉系统和机械臂装置的设计皆基于嵌入式处理平 台，更适于高温、潮湿的温室工作环境，具有集成能力强、稳定性好、 运算速度快、系统成本低、功耗小等优势。
图l是本发明实施例的一种黄瓜釆摘机器人系统结构示意图； 图2是本发明实施例的 一种双目立体视觉系统的结构示意图； 图3是本发明实施例的一种温室黄瓜种植模式示意图4是本发明实施例的一种黄瓜采摘机器人功能框图； 图5是本发明实施例的一种温室环境下黄瓜釆摘方法的流程图。
其中，1、机器人移动平台；2、机械臂装置；3、双目立体视觉 系统；4、支架；11、控制中心；12、履带式车体；13、云台摄像机; 21、基座；22、肩关节；23、大臂；24、肘关节；25、小臂；26、腕 关节；27、末端执行器；31、黑白Hyper HAD CCD摄像机(左)；32、 黑白Hyper HAD CCD摄像机(右)；33、照明光源；34、窄带干涉滤 光设备；35、直流电源模块；36、双通道视觉实时处理器；37、釆摘 对象。
具体实施例方式
下面结合附图和实施例，对本发明的具体实施方式
作进一步详细 描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明的黄瓜釆摘机器人系统包括机器人移动平台 1、机械臂装置2和双目立体视觉系统3。
机器人移动平台1包括履带式车体12、云台摄像机13、车载PC 处理器(图中未示出，放置于控制中心11内)、运动控制器(图中未 示出，放置于控制中心ll内)、电机驱动器(图中未示出，放置于履 带式车体12内)。机器人移动平台釆用电机后轮驱动方式，当本系统 接收到双目立体视觉系统3发送的启动指令后，车体12循线行走， 安装于车体正前方的云台摄像机13实时获取导航线路径信息，车载 PC处理器将计算所得导航线角度偏差和横向偏差输出给运动控制 器，电机驱动器根据运动控制器输出的两轮差速值调整车体进行路径跟踪。
机械臂装置2包括基座21、肩关节22、大臂23、肘关节24、小 臂25、腕关节26、末端执行器27和ARM运动控制卡(图中未示出， 放置于控制中心11内)，执行机构固定于控制中心11平台上。根据 黄瓜实际釆摘作业要求，机械臂选用5自由度设计，分别为基座旋转、 肩关节俯仰、肘关节俯仰、腕关节俯仰、腕关节旋转。当本装置接收 到双目立体视觉系统3发送的收获目标位置信息，ARM运动控制卡
进行轨迹规划推算各关节的运动参数，通过CAN总线向各关节节点
发送运动指令，由关节驱动器带动执行机构实现果实的抓取和分离。
双目立体视觉系统3包括两个黑白Hyper HAD CCD摄像机(31 、 32)、 一个四光源呈对称阵列分布的照明装置33、两个窄带干涉滤光 设备34、 一个直流电源模块35及一个双通道视觉实时处理器36,如 图2所示。整个系统由支架4支撑，以套简方式固定，根据需要完成 系统的升降和旋转，最大升降距离为1000mm,基本满足信息获取的 需求。
上述的黑白Hyper HAD CCD摄像机(31、 32)选用美国UNIQ 公司的UM-300系列摄像机，本系列摄像机比普通摄像机在近红外波 段敏感4倍。两黑白Hyper HAD CCD摄像机(31、 32)通过调节机 构安装在机翼形状的水平底板上，底板略宽于摄像机尺寸，调节机构 用来调整摄像机的位移和偏航角，双摄像机呈会聚式双目立体视觉模 型，针对近距离目标有较好的测量精度。
上述的照明装置33由四盏Philips公司的摄影用卤素射灯改装而 成，每盏色温为5500K，发光能量峰值在1000nm附近，区域覆盖可 见光到近红外波段，适用于黄瓜的釆摘识别作业。照明装置独立于双 摄像机(31、 32)系统，四盏光源通过连接件组成一整体，根据需要 相互间角度可调。
上述的直流电源模块35由四组24V、 10AH锂电池和感光元件组 成，为照明光源提供稳定的输出电流。感光元件根据环境的照度情况， 分四个等级自行调整电池的电流输出，控制视场亮度从而保证视频图 像获取质量。
上述的双通道视觉实时处理器36为自行开发设计的专用嵌入式 图像处理平台，内核釆用美国TI公司TMS320DM642数字信号处理
芯片，完成两路视频并行釆集、图像识别及坐标运算。 上述双目立体视觉系统的图像信息获取方法
适当改变机器人的工作环境和黄瓜的种植模式，如图3所示(尺 寸单位mm)。为保证机器人在作业现场行走平稳、收获便利，黄瓜 种植垄间区域进行平整硬化，硬化路面宽900mm，黄瓜垄宽600mm， 垄内作物单行栽培，株距400mm，成熟果实分布于离地面600mm以 上区域。为使果实与茎叶容易分离，本发明釆用一种斜拉线种植模式， 即用聚丙烯塑料线，上端缠于藤架顶部木制横梁，下端被张紧绕在一 固定于地面线轴上，拉线垂直高度为1800mm、倾角为70° ，黄瓜藤 蔓沿拉线生长，当瓜蔓接近横梁，通过下放斜拉线保证成熟果实集中 在距离垂直地面600 1200mm范围内(即摄像机的视野范围)。由于 拉线强度不够，黄瓜叶子因重力下垂严重，极易造成果实的遮挡，为 此在高度600mm和1200mm处添加两条横杆以增加对拉线的支撑， 此外介于两横杆间以斜拉线为中心的两侧15mm处各拉一条细线，将 叶子隔开到横杆后方便于机器人识别采摘。
为了保证图像获取质量，其一视野光照均匀，根据视场范围和目 标形状，确定光源与摄像机的相对位置、光源的入射角度，采用四个 光源以两摄像机公共视场为中心、两侧光源呈75°对称交向阵列分 布；其二视野光照稳定，直流电源模块中的感光元件根据自然光的强 弱，按四个等级自主调整电流输出，控制光源的输出能量从而保证视 场亮度。
装有滤光设备的黑白Hyper HAD CCD摄像机获取黄瓜近红外模 拟光谱图像，经双通道视觉实时处理器A/D模块转换后，以数字图 像形式存储于片上SDRAM中指定的内存，供图像处理用。
双通道视觉实时处理器采用多线程、多任务的系统调度方案，静 态配置了4个线程，分别完成两路图像釆集、图像识别及坐标运算， 线程间的同步通过SCOM (同步通讯机制)模块实现，从而解决了恒
速图像采集与变速图像处理之间的矛盾。
双目立体视觉系统首先进行两路图像釆集，存储后分别对左右摄 像机图像进行二维特征提取，然后基于双目立体视觉的视差原理从二 维特征中恢复出三维信息，为机械臂运动提供依据。
本发明黄瓜釆摘机器人系统的控制采用主从式结构，其功能框图 如图4所示。双目立体视觉系统作为主控系统完成两路视频图像信息
的釆集、提取、分析和计算，协调好与从系统的信息交换；机械臂装 置作为从系统负责执行机构的轨迹规划及控制；机器人移动平台作为 另 一从系统实现导航信息提取和路径跟踪。
上述的双目立体视觉系统与机械臂装置之间釆用网口和RS232
串口作为接口实现两者的相互通信。视觉系统输出釆摘目标与机械手 的相对位置信息，接收目标抓取、切割启停信号。
上述的双目立体视觉系统与机器人行走平台之间釆用RS232串
口连接，视觉系统输出车体的运动控制指令，接收车体当前运动状态
律自 i 口 k、。
采用上述系统方案的一种温室黄瓜自动检测方法，参见图5，其 具体步骤如下
51、 启动机器人移动平台沿导航线运动，双目视觉系统的右摄像 机进行单通道视频实时采集；
52、 对每帧右摄像机图像快速搜索，判断果实数量、成熟度及大
小；
53、 确定有釆摘目标后命令机器人移动平台停止，启动双通道视
频釆集；
54、 左右摄像机同步获取场景中的黄瓜近红外图像，分别进行目
标分割、品质分析和特征提取，确定左右图像中黄瓜的抓取点位置；
55、 判断摄像机公共视场范围内是否有对应匹配点；
56、 若抓取点不满足匹配条件，结東双通道视频采集，重新步骤
1),否则基于左右图像抓取点的视差，由三角法原理进行三维信息重 建；
57、 双通道图像处理器计算目标抓取点到双目视觉系统坐标原点 的X、 Y、 Z坐标，将距离最近的抓取点目标作为当前釆摘对象，并 由标定所得视觉系统原点与机械臂原点的相对位置关系推出机械臂
对应的坐标信息，发送至机械臂装置的运动控制卡；
58、 运动控制卡对发送的位置信息进行轨迹规划后给出各关节的
最佳运动参数，从而引导机械手进行准确釆摘；
59、 重复步骤S4 S8，该停车点视野范围内的多个目标进行连 续采摘，直至无可釆摘目标重新步骤S1。
本发明所提供的温室黄瓜自动检测方法，将黄瓜的光谱特征与形 状特征结合起来实现目标分割、特征提取，再由双目立体视觉原理得 出目标的空间位置，引导机械手进行釆摘。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1、一种温室环境下黄瓜采摘机器人系统，其特征在于，所述系统包括双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收获目标的位置信息；机械臂装置，用于根据所述收获目标的位置信息，进行所述收获目标的抓取和分离；机器人移动平台，用于在温室环境下自主运动；所述双目立体视觉系统包括两个黑白摄像机；双通道视觉实时处理器，与所述两个黑白摄像机连接，用于完成两路视频采集、图像识别及坐标运算；所述机械臂装置包括执行机构；运动控制卡，用于根据所述收获目标的位置信息进行轨迹规划，并下发运动指令；关节驱动器，用于根据所述运动指令，带动所述执行机构实现所述收获目标的抓取和分离动作；所述机器人移动平台包括行走机构；电机驱动器，用于驱动所述行走机构；云台摄像头，用于获取环境图像信息；处理器，用于分析所述图像信息，获取并下发导航参数；运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动所述执行机构进行运动。
2、 如权利要求l所述的温室环境下黄瓜釆摘机器人系统，其特 征在于，所述双目立体视觉系统还包括照明装置，用于提供适于收获 目标的识别釆摘的光照环境；所述照明装置包括对称阵列分布的四个 光源和自适应能量输出的直流电源模块，所述电源模块用于给所述四 个光源提供电源。
3、 如权利要求1所述的温室环境下黄瓜釆摘机器人系统，其特 征在于，所述双目立体视觉系统还包括滤光设备，分别安装于所述两 个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透过率大于90%的窄带干涉滤光器。
4、 如权利要求1所述的温室环境下黄瓜釆摘机器人系统，其特征在于，所述双目立体视觉系统还包括支架，所述支架以套简方式固 定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据需 要完成所述双目立体视觉系的升降和旋转。
5、 如权利要求1所述的温室环境下黄瓜釆摘机器人系统，其特 征在于，所述机械臂装置釆用5自由度设计，包括基座旋转、肩关节 俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。
6、 如权利要求1所述的温室环境下黄瓜釆摘机器人系统，其特 征在于，所述双目立体视觉系统与机械臂装置之间釆用网口和RS232 串口连接，进行通信。
7、 如权利要求1所述的温室环境下黄瓜釆摘机器人系统，其特 征在于，所述双目立体视觉系统与机器人移动平台之间釆用RS232 串口连接，进行通信。
8、 一种温室环境下黄瓜采摘方法，其特征在于，所述方法包括 以下步骤 S1. 启动机器人移动平台沿导航线运动，双目立体视觉系统的右 摄像机进行单通道视频实时釆集； S2. 对每帧右摄像机图像快速搜索，判断视场果实数量、成熟度 及大小； S3. 搜索到收获目标后，机器人移动平台停止运动，启动双通道 视频釆集； S4. 左右摄像机同步获取场景中的收获目标的近红外图像，确定左右图像中各收获目标的抓取点位置； S5. 判断摄像机公共视场范围内是否有对应匹配点； S6. 当有对应匹配点时，根据左右图像抓取点的视差进行三维信 息重建； S7. 双通道视觉实时处理器计算目标抓取点到双目立体视觉系 统坐标原点的坐标，将距离最近的抓取点目标作为当前釆摘对象，并 由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得 出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运 动控制卡； S8. 机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并 给出各关节的最佳运动参数，引导执行机构进行准确釆摘。
9、 如权利要求8所述的温室环境下黄瓜釆摘方法，其特征在于， 在所述步骤S1之前，还包括改变黄瓜釆摘机器人系统的工作环境， 采用斜拉线栽培模式。
10、 如权利要求8所述的温室环境下黄瓜釆摘方法，其特征在于， 在所述步骤S8之后，还包括重复步骤S4-S9，对所述场景范围内 的多个收获目标进行连续釆摘，直至无对应抓取点，重新进行步骤 Sl。
全文摘要
本发明公开了一种温室环境下黄瓜采摘机器人系统，包括双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收获目标的位置信息；机械臂装置，用于根据收获目标的位置信息，进行收获目标的抓取和分离；机器人移动平台，用于在温室环境下自主运动；双目立体视觉系统包括两个黑白摄像机、双通道视觉实时处理器、照明装置及滤光设备；机械臂装置包括执行机构、运动控制卡和关节驱动器；机器人移动平台包括行走机构、电机驱动器、云台摄像头、处理器和运动控制器。本发明还公开了一种温室环境下黄瓜采摘方法。本发明使用机器视觉和农业机械相结合的方法，构建了适用于温室的黄瓜采摘机器人系统，实现了机器人的自动导航和黄瓜的自动收获，减少了人的劳动强度。
文档编号A01D46/30GK101356877SQ20081022253
公开日2009年2月4日 申请日期2008年9月19日 优先权日2008年9月19日
发明者冯青春, 伟 李, 挺 袁, 谭豫之 申请人:中国农业大学