专利名称：服务机器人抓取引导系统及其方法
技术领域：
本发明涉及的是一种机器人技术领域的系统及其方法，具体是一种服务机器 人抓取引导系统及其方法。
背景技术：
自1954年美国人Devol提出工业机器人的概念并申请专利以来，机器人技 术的发展经历了三个阶段，第一阶段的机器人是应用于结构化环境下的示教再 现型机械臂，没有传感装置，只能完成既定重复性工作，不能感知环境信息并 做出响应；第二阶段的机器人装备了一些传感器，比如力传感器，能够与环境 发生简单的交互，但机器人不具备智能；第三阶段的机器人装备了多种传感器， 比如视觉传感器、激光传感器、声纳传感器等，并能够对多种传感器的信息进 行融合处理，显示出一定的智能。随着机器人传感技术和信息融合处理技术的 发展，机器人技术发展的趋势是从结构化环境发展到非结构化环境，从工业进 入家庭。
家庭服务机器人通常应具备一定的人机交互功能，自主移动功能和物体识 别功能，能够根据人的指令，自主移动到指定位置点，拾取指定物体。机器人 自主移动一般通过机器视觉实现。中国专利公开号CN 101308023A，
公开日2008 年11月19日，专利名称基于异构视觉传感器系统的导航装置和方法，公开 了一种机器人技术领域的基于异构视觉传感器系统的导航装置和方法，装置由 立体视觉传感器和全维视觉传感器结合而成，将全局路径规划和局部避障规划 有机结合，可实现移动机器人在未知环境下由起始点自主运动到给定的目标点。
经对现有技术文献的检索发现，中国专利授权号CN 100352623C，授权曰 2007年12月5日，专利名称 一种自动拾取物体的智能移动机器人控制装置及 方法，公开了一种用于半结构化环境或非结构化环境下自动拾取物体的智能移 动机器人控制装置及方法，通过视觉自动获取目标，自主动态生成路径规划， 并将运动信息反馈到图像处理模块，构成视觉闭环运动控制，到达目标位置和目标姿态。但由于光照变化、遮挡等因素，基于视觉的物体识别在实际应用过 程中效果较差，识别能力有限，识别准确率较低。而近年来兴起的无线射频识
别技术(RFID)，利用射频信号通过空间耦合实现无接触信息传递，能够自动识 别目标对象并获取相关数据，识别过程无须人工干预，已广泛应用于零售、物 流等产业。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于机器视觉与RFID传 感信息融合的服务机器人抓取引导系统及其方法，利用机器视觉实现移动机器 人的定位和导航，利用RFID实现待拾取物品的识别，充分利用两种传感器的长 处，为移动机器人智能取物提供充足信息。
本发明是通过以下技术方案实现的-
本发明所涉及的服务机器人抓取引导系统包括图像采集装置，射频感应收 发装置，视觉与射频信息融合处理装置。其中图像采集装置安装于机器人头 部，将釆集的移动机器人周围的全景视觉信息发送给视觉与射频信息融合处理 装置，射频感应收发装置将读取的射频信息发送给视觉给射频信息融合处理装 置；视觉与射频信息融合处理装置安装在机器人的车体上，分别与图像采集装 置和射频感应收发装置相连。
所述的图像采集装置包含全景CCD摄像机，图像采集卡。全景CCD摄像 机安装于机器人头部，用于采集移动机器人周围的全景视觉信息，供视觉与射 频信息融合处理装置利用该信息对机器人定位；图像采集卡安装于计算机上， 连接全景CCD摄像机和计算机，将全景CCD摄像机采集的视觉信息传送至计算 机。
所述的射频感应收发装置包括射频标签和射频感应收发器
其中，射频标签安装在待取物品上或盛放待取物品容器上，所述射频标签 为无源型射频标签，含有物品种类、大小、重量等信息。
射频感应收发器安装在机器人抓手部安装，用于读取待取物品上或盛放待 取物品容器上所安装射频标签的射频信息。
所述的视觉与射频信息融合处理装置与全景CCD摄像机和射频感应收发器 分别相连，利用全景CCD摄像机提供的视觉信息对机器人定位，引导机器人运
5动到指定位置点；继而利用安装在机器人抓手部的射频感应收发器读取待取物 品上或盛放待取物品容器上所安装射频卡的射频信息，指导机器人抓取指定物
CI
叫o
本发明所涉及的服务机器人抓取引导方法，包括以下步骤
第一步，在待取物品上或盛放待取物品容器上安装无源型射频标签，并在 标签中写入物品种类、大小、重量等信息；
第二步，使用全景CCD摄像机顺序采集图像，并将图像序列保存在计算机 硬盘上，建立序列全维图像库；
第三步，用户从图像库中指定一幅图像，作为机器人的目标位置，发出到 该位置取特定物品的指令；
第四步，接到指令后，机器人触发全景CCD摄像机，在当前位置拍摄一张 全维图像；
第五步，通过图像匹配，在图像库中搜寻与当前全围图像相似度最高的图 像，确定了当前全围图像在序列全维图像库中的位置，实现了机器人的自定位；
第六步，在序列全维图像库中，以第五步中寻找到的图像为起始图像，以 用户指定的图像为目标图像，生成基于序列图像的路径；
第七步，沿第六步生成的基于序列图像的路径，机器人移动到目标图像位 置后，用机器人抓手部安装的射频感应收发装置识别待取物品。
与现有技术相比，本发明将机器视觉与RFID融合应用于服务机器人，能够 充分发挥两种传感器的长处，为移动机器人智能取物提供充足信息，增强了识 别能力，提高了识别准确率。
图l为本发明的系统结构框图2为本发明基于序列全维图像库导航流程示意图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方 案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的 保护范围不限于下述的实施例。
如图1所示，本实施例涉及的服务机器人抓取引导系统，由图像采集装置,射频感应收发装置，视觉与射频信息融合处理装置组成，其中
所述的图像采集装置包含全景CCD摄像机，图像采集卡。全景CCD摄像机 选用S0NY RPU-C2512全景摄像头，200万象素，24位真彩色，安装于机器人头 部，镜头距地面1.52米，用于采集移动机器人周围的全景视觉信息，供视觉与 射频信息融合处理装置利用该信息对机器人定位；
所述的射频感应收发器选用HID MIFARE RFID读卡器，读写距离为6至10 厘米，安装于机器人抓手部，通过USB接口与电脑相连。
所述的视觉与射频信息融合处理装置选用HP Compaq nw8240笔记本电脑， 该电脑与全景CCD摄像机和射频感应收发装置分别相连，利用全景CCD摄像机 提供的视觉信息对机器人定位，引导机器人运动到指定位置点；继而利用安装 在机器人抓手部的射频感应收发装置读取待取物品上或盛放待取物品容器上所 安装射频卡的射频信息，指导机器人抓取指定物品。
如图2所示，本实施例以抓取衣柜中指定衣服为例说明服务机器人抓取引 导方法。图2为一常见家庭布局示意图，包括餐桌、沙发、电视、衣柜l、衣柜 2、冰箱等常见家具及电器。本实施例所述的服务机器人抓取引导方法包括以下 步骤
第一步，在衣柜1中五件衣服的衣架上安装无源型射频标签，并在标签中 写入衣服种类、重量信息；
第二步，在房间内人工移动机器人，以1至2米为步长，采集多幅图像。 本实施例中，分别将机器人移动到图2所示A、 B、 C、 D、 E、 F、 G、 H、 I、 J点， 在每个点使用SONY RPU-C2512全景CCD摄像机采集一副全维图像，并将图像以 JPEG格式顺序保存在计算机硬盘上，分别命名为"A.jpg" 、 "B.jpg"、 "C. jpg，， 、"D.jpg，， 、"E.jpg，， 、 "F. jpg，， 、 "G. jpg，， 、 "H. jpg，， 、 "l.jpg，，、 "J. jpg"。图像"A. jpg"至"J. jpg"便构成了序列全维图像库，机器人在后 续抓取任务中以该图像库为参考地图。
第三步，用户从图像库中指定一幅图像，本例中为在衣柜1前拍摄的 "H.jpg"，作为机器人的目标位置，发出到该位置取特定物品的指令；
第四步，接到指令后，机器人触发全景CCD摄像机，在当前位置，即图2 所示的S点拍摄一张全维图像；
7第五步，提取S点拍摄图像的SIFT特征点，并与图像库中所有图像的特征 点进行匹配，在图像库中搜寻与当前图像相似度最高的图像，在本例中为 "D.jpg"，从而确定了当前图像在序列全维图像库中的位置，实现了机器人的 自定位；
第六步，在序列全维图像库中，以第五步中寻找到的图像，即全维图像 "D. jpg"为起始图像，以用户指定的图像，即全维图像"H. jpg"为目标图像， 生成基于序列图像的路径；
第七步，沿第六步生成的基于序列图像的路径，机器人移动到目标图像位 置，即全维图像"H. jpg"的位置，用机器人抓手部安装的射频感应收发装置识 别待取物品。
本实施例将全维视觉传感器与RFID相结合，全维视觉传感器用于机器人的 粗定位与导航，RFID用于抓取物的识别，充分利用两种传感器的长处，实现服 务机器人在室内环境下完成常见的抓取任务。
权利要求
1、一种服务机器人抓取引导系统，其特征在于，包括图像采集装置，射频感应收发装置，视觉与射频信息融合处理装置，其中图像采集装置安装于机器人头部，将采集的移动机器人周围的全景视觉信息发送给视觉与射频信息融合处理装置，射频感应收发装置将读取的射频信息发送给视觉给射频信息融合处理装置；视觉与射频信息融合处理装置安装在机器人的车体上，分别与图像采集装置和射频感应收发装置相连。
2、 根据权利要求l所述的服务机器人抓取引导系统，其特征是，所述的图 像采集装置，包含全景CCD摄像机，图像采集卡，其中全景CCD摄像机安装 于机器人头部，与视觉与射频信息融合处理装置相连接，将采集的移动机器人 周围的全景视觉信息，发送给视觉与射频信息融合处理装置；图像采集卡安装 于计算机上，连接全景CCD摄像机和计算机，将全景CCD摄像机采集的视觉信 息传送至计算机。
3、 根据权利要求l所述的服务机器人抓取引导系统，其特征是，所述的射 频感应收发装置，包括射频标签和射频感应收发器，其中射频标签安装在待 取物品上或盛放待取物品容器上，射频感应收发器安装在机器人抓手部，与视 觉与射频信息融合处理装置相连接，读取射频标签的射频信息，并将信息发送 给视觉与射频信息融合处理装置。
4、 根据权利要求l所述的服务机器人抓取引导系统，其特征是，所述的视 觉与射频信息融合处理装置，利用全景CCD摄像机提供的视觉信息对机器人定 位，引导机器人运动到指定位置点；利用安装在机器人抓手部的射频感应收发 器读取待取物品上或盛放待取物品容器上所安装射频卡的射频信息，指导机器 人抓取指定物 品o
5、 根据权利要求l所述的服务机器人抓取引导系统，其特征是，所述射频 标签为无源型射频标签，含有物品种类、大小、重量信息。
6、 一种服务机器人抓取引导方法，其特征在于，包括以下步骤 第一步，在待取物品上或盛放待取物品容器上安装无源型射频标签，并在标签中写入物品种类、大小、重量信息；第二步，建立序列全维图像库；第三步，从序列全维图像库中指定一幅图像，作为机器人的目标位置，发 出到该位置取特定物品的指令；第四步，机器人接到指令后，触发全景CCD摄像机，在当前位置拍摄一张 全维图像；第五步，通过图像匹配，实现机器人的自定位；第六步，在序列全维图像库中，以第五步中寻找到的图像为起始图像，以 用户指定的图像为目标图像，生成基于序列图像的路径；第七步，沿第六步生成的基于序列图像的路径，机器人移动到目标图像位 置，用机器人抓手部安装的射频感应收发器识别待取物品。
7、 根据权利要求6所述的服务机器人抓取引导方法，其特征是，所述的建 立序列全维图像库，是指使用全景CCD摄像机顺序采集图像，并将图像序列保 存在计算机硬盘上。
8、 根据权利要求6所述的服务机器人抓取引导方法，其特征是，所述的通 过图像匹配，实现机器人的自定位，是指在序列全维图像库中搜寻与当前全围 图像相似度最高的图像，确定当前图像在序列全维图像库中的位置。
全文摘要
一种机器人技术领域的服务机器人抓取引导系统及其方法，本发明系统包括图像采集装置，射频感应收发装置，视觉与射频信息融合处理装置，图像采集装置安装于机器人头部，视觉与射频信息融合处理装置安装在机器人的车体上，接收图像采集装置传来的全景视觉信息和射频感应收发装置传来的射频信息；本发明方法包括以下步骤安装无源型射频标签；使用全景CCD摄像机采集图像，建立序列全维图像库；发出到机器人的目标位置取特定物品的指令；实现机器人的自定位；用机器人抓手部安装的射频感应收发器识别待取物品。本发明利用全景视觉实现移动机器人的定位和导航，利用RFID实现待拾取物品的识别，为移动机器人智能取物提供充足信息。
文档编号G01C21/00GK101559600SQ20091005078
公开日2009年10月21日 申请日期2009年5月7日 优先权日2009年5月7日
发明者镇 张, 曹其新, 扬 杨, 罗伟杭, 陈培华 申请人:上海交通大学