专利名称：一种基于一般物体识别的机器人视觉导航方法
技术领域：
本发明属于人工智能技术领域，特别涉及一种基于一般物体识别的机器人视觉导航方法。
背景技术：
随着科技的进步和社会的发展，目前越来越多的智能移动机器人走进人们的日常生活，诸如家政服务机器人、伴侶机器人等将会逐渐代替人类去做繁琐重复的事情。在移动机器人技术的研究中，导航是其研究关键技术之一，其研究目标是在没有人的干预下，使机器人有目的地移动到目标区域，以便进行特定操作，完成特定任务。在移动机器人导航控制理论和方法的研究中，确定性环境的导航控制方法已经取得大量的研究和应用成果。对未知环境中移动机器人导航也展开ー些研究，并提出了若干方法，但并没有形成统ー和完善的体系，还有许多关键理论和技术有待解决和完善。这些问题主要包括环境建模、定位、导
航控制器的学习和优化、故障诊断、在线运动规划和控制。机器人的导航问题可以归结为“我在哪”、“我要去哪”及“我如何到达那里”这三个问题。机器人为了完成导航任务，必须解决如下四个问题运动控制(Motion Control)、地图构建(World Modeling)、路径规划(Planning)和定位(Localization)。其中路径规划和机器人自身的位置定位是机器人导航的基础和关键环节。移动机器人的路径规划可以分为基于地图的全局路径规划和基于机器人自身携帯传感器的局部路径规划。对于环境已知条件下的离线全局规划方法，现在已经有很多的研究成果。基于机器人自身携帯传感器的局部路径规划是实现移动机器人在未知环境中导航的重要技术，也是移动机器人导航研究领域的研究热点。类比于人类在未知环境中的问路方式，李新德、吴雪建等人在“一种基于手绘地图的动态环境视觉导航方法”(李新德、吴雪建、朱博、戴先中.一种基于手绘地图的动态环境视觉导航方法[J].机器人，2011，33 (4) =490-501.)提出了手绘地图的动态环境视觉导航方法，该方法通过手绘地图的方式，给出机器人起始、終止信息，以及在行进过程中遇到的标志性參照物的大体相对位置关系，不需要对现实环境进行精确测量，只需要目測大概方位和距离即可方便快捷地对陌生环境进行处理。由于室内环境具有多祥性和可变性，如果事先将摄像机要捜索的目标物自身的确切图像信息告诉机器人，让机器人在行进过程中进行匹配识别，当环境发生变化时，还需要重新把目标物的信息指定给机器人，这样会很大限制机器人导航方法的适用性。为了解决在变化环境中一般物体识别问题，有人在自然物体表面人为的添加一些标志物，比如红色或者緑色的纸片，通过让机器人捜索事前粘贴的标签来寻找自然物体，该方法表面上是寻找到了自然物体，但该方法的本质是对人为定义的标签进行识别的过程，因此并不满足在真实环境中对一般物体识别，此外，物体表面添加标签也改变了物体的真实外观。并且在实际应用中图像处理过程中运算量大从而会影响移动机器人实时性。
发明内容
发明目的针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于一般物体识别的机器人视觉导航方法，解决在室内未知环境中机器人的自主导航问题。技术方案为实现上述发明目的，本发明米用的技术方案为ー种基于一般物体识别的机器人视觉导航方法，包括如下步骤(I)绘制实际环境的手绘地图；(2)机载摄像机读入实际环境的图片；(3)运用判别函数对读入的图片进行判决，识别自然路标； (4)机器人通过传感器測量识别的自然路标和机器人的位置关系，完成自定位。
进ー步的，所述步骤(I)中，手绘地图呈现给机器人的信息包括机器人的起始点和方向，路径的起点和終点，起点和終点之间的大概实际物理距离，机器人从起点到终点过程中会遇到的关键路标的大体位置；将机器人引导到关键路标附近，然后向着下一个关键路标运行。进ー步的，所述步骤(2)还包括①建立视觉词库进行图片的特征点检测,生成各类物体的视觉词库；②图像预处理将待检测图片中的每ー个特征点与视觉词库中的每ー个视觉单词进行相似性计算，若特征点与相应视觉单词的误差不大于设定的阈值，认为该特征点是构成目标物体的特征点；③用一个多维向量描述预处理后的图像。更进一歩的，所述步骤①中，还包括对视觉词库中的视觉单词进行聚类分析的步骤。更进一歩的，所述步骤②中，还包括运用随机抽样一致性算法处理背景上的干扰点的步骤。更进一歩的，所述步骤③中，多维向量中的元素的性质包括对视觉单词本身数量的描述和视觉单词空间关系描述，其中对视觉单词本身数量的描述指视觉单词库中视觉单词出现的次数，视觉单词空间关系描述指用每个视觉单词相对于物体几何中心距离特征与角度特征来描述每个视觉单词的位置特征。进ー步的，所述步骤(3)中的判别函数由离线训练得出。进ー步的，所述特征点检测和描述采用GPU加速图像处理。进ー步的，所述传感器为声纳传感器。有益效果本发明提出一种新的一般物体识别方法，解决在未知环境中机器人的自主导航问题。不仅解决了在变化环境中一般物体识别问题，并且不改变物体的真实外观，还能够消减背景环境对一般物体识别过程的影响。针对图像处理过程中运算量大从而影响移动机器人实时性的问题，引入GPU加速来提升系统处理速度。最后通过模仿人类问路方式，利用手绘地图、一般物体识别方法和GPU加速处理进行机器人导航运行。本发明所提出的方法对机器人在复杂多变的真实环境中实现智能导航有重要意义，其实时性和对环境的鲁棒性可以促进家政服务机器人顺利走进人类的生活。
图I为机器人导航的流程图；图2为真实实验室环境的照片；图3为图2的平面图；，图4为手绘地图；图5为一般物体识别的流程图；图6为图片上的特征点； 7(al),(a2),(bl),(b2),(cl),(c2)分别为不同目标特征点提取处理前(尾数为I)后(尾数为2)的效果图；
图8为特征点的空间位置图；图9为硬件设备信息流向图；图10为三次实验中识别出来的不同物体，左侧图片为第一次实验物体，中间图片为第二次实验物体，右侧图片为第三次实验物体；图11为实验一手绘路径和三次实验机器人行走的路径图；图12为更改机器人行进路线后的导航线路图，图中的1、2、3、4、5标志为路标；图13为实验二手绘路径和机器人行走的路径图；图14为实验三手绘路径和三次实验机器人行走的路径图；图15为实验四手绘路径和三次实验机器人行走的路径图。
具体实施例方式下面结合附图和具体实施例，进ー步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。本发明的目的是为了解决在室内未知环境中机器人的自主导航问题。路径规划是机器人导航的基础和关键环节，一般路径规划可分为基于地图的全局路径规划和基于机器人自身携帯传感器的局部路径规划。对于环境已知条件下的离线全局规划方法，现在已经有很多的研究成果，基于机器人自身携帯传感器的局部路径规划是实现移动机器人在未知环境中导航的重要技术，也是移动机器人导航研究領域的研究热点。本发明运用机器人自身携帯的视觉传感器来识别环境中的自然路标，在手绘地图的帮助下完成机器人在未知环境中的自主导航。本发明提出了ー种新奇的一般物体识别方法，采用统计的思想，在图像描述环节，把一幅图片包含的局部特征点信息抽象映转换成一个多维行向量(XtlX1X2...
xp^xp^xp^yoyiy；,......yQ-3yQ-2yQ-i)，其中前P维为出现在该图片中特征部件的统计信息，
后Q维为这些特征部件之间的空间关系统计信息。利用SIFT (Scale-invariant featuretransform，尺度不变特征转换)检测算子进行特征向量描述，充分考虑和利用物体部件空间关系的统计信息来描述一幅图片中所有特征点的空间(相对距离和角度)关系。为了消减背景环境对一般物体识别过程的影响，在对每一幅图像描述之前，对其所含有的特征点进行阈值处理。在此基础上，采用随机抽样一致，进ー步滤除背景上的特征点。与此同时考虑到SIFT特征提取与描述的实时性，采用基于CUDA(Compute Unified DeviceArchitecture,统ー计算设备架构)平台的GPU加速技术来实现。然后,在手绘地图辅助导航的基础上，将该方法成功的应用到室内移动机器人导航上。本发明所提出的方法对机器人在复杂多变的真实环境中实现智能导航有重要意义，其实时性和对环境的鲁棒性可以促进家政服务机器人顺利走进人类的生活。机器人完整导航框架如图I所示，首先在手绘地图交互界面绘制出机器人导航的手绘地图，离线训练出一般物体的判别函数，机器人在导航过程中利用得到的判别函数对现实中的一般物体进行识别，在声纳的辅助下机器人通过对路标的识别完成自定位，考虑到机器人导航的实时性问题，在图像处理过程中使用基于CUDA平台的GPU进行加速处理。最后的实验结果验证本发明的可行性和鲁棒性。I、手绘地图的特点与表示相对于米制地图、拓扑地图，手绘地图可以更加灵活的应用于多变的室内环境。设计了基于自然路标识别的手绘地图导航。地图的绘制遵循以下原则根据參考目标在实际环境中所处的大体位置，在绘图面板中对应的大致位置手绘其轮廓，并标注其语义信息；根 据机器人在实际地图中的概略位置和方向，在手绘地图中对应位置绘制它，并同时确定路径的起点，然后绘制路径和目标点。手绘地图与实际环境地图之间存在“松散”的映射关系。这是因为环境的精确大小无法获知，地图也没有精确的比例尺，所以手工绘制的路径无法表示机器人要走的精确路线。另ー方面，绘制的路径对机器人起到的只是指引作用，机器人导航的最終目的是到达目标区域，因此机器人没有必要完全按照指定路径运行。手绘地图的优势在于不需要很精确的将环境信息传递给机器人，地图所要呈现给机器人的信息机器人的起始点和方向，路径的起点和終点，起点和終点之间的大概实际物理距离，从起点到终点过程中会遇到的关键路标的大体位置。图2是真实环境照片，图3为其平面图，图4为手绘地图。由以上3幅图分析手绘地图与实际环境的映射关系。将图3所代表的实际环境Mreal表述为
Jz(大小，位1),5(大小，位a),D(大小，位置)j -—レ(目标,位置范围)，及(位置方向) JL(0表示导航设置的自然路标；S(0表示在导航过程中不适宜作为自然路标的障碍物，比如很长的柜子；D( )表示在机器人行进的过程中环境中的动态物体；T( )表示目标或者任务作业区域；R(0表示机器人的初始位姿。图4手绘地图Msk6tdl可以表述
为Kk-={LU}其中r表示自然路标しい)在手绘地图中的概略位置，即存在映射关系
#包含路径的起始点S、終点D以及路径线路图，该路径图不是机器人走的实际路径或者真实路径，而只是指引移动机器人沿该路径的大致趋势行走。友表示机器人的初始概略位姿。从所绘路径的延伸趋势出发，将原始路径分成几段，每段都有ー个关键引导点，将机器人引导到关键引导点附近，然后向着下一个关键引导点运行。为了便于控制机器人，关键引导点间的运动采用直线运行方式，这样可以有效地避免机器人频繁旋转所带来的累积误差。机器人在已知环境的大概信息的条件下，在前进过程中，通过寻找路途中环境路标进行自身定位。2、导航过程中自然路标的识别及判别函数的求取如图I所示，机器人导航过程中ー个重要环节是对现实环境中自然路标的识别从而完成自身的定位。在机器人实际导航过程中是根据离线训练出的一般物体判决函数来对读入摄像机的图片进行识别。下面详细阐述一般物体的识别过程以及判别函数的求取过程。通常情况下，图像目标物都有自己本身所特有的外观特征，人类的视觉系统在判断某种物体的时候，很大程度上是根据该物体所表现出来的外观特征描述，结合自己的先验知识将图像目标特征抽象到一定程度，形成该物体的高度语义特征。当人类在看到以前并未见过的物体吋，也可以通过自己的先验知识对其进行分析和判断。遵循人类识别一般物体的过程，设计如下一般室内物体识别方法。图5为一般物体的识别框架图，最后，通过运用支持向量机SVM得出某类物体的判别函数。 2. I、建立视觉词库本发明提出的一般物体识别是基于统计的思想，第一步是建立某类物体的视觉单T^rI o大卫.劳伊教授提出的SIFT检测子在特征检测方面有很好的表现，该算法满足对图像旋转、缩放、平移不变的特性，本发明运用SIFT进行图片的特征点检測。由于用大量图片直接生成的视觉单词数量很多，并且ー些视觉单词用SIFT描述子表述以后很相近，所以接下来要对视觉词库中的视觉单词进行聚类分析。K均值聚类是常用的聚类方法，本发明运用K均值聚类实现对图片特征的聚类分析。经过此环节，每类物体的视觉单词库建立完成，每个视觉单词为(简称“单词”)经过K均值聚类后的SIFT算法检测出来的128特征描述向量。2. 2、图像预处理本环节的目的是消减背景环境对后期图像识别的负面影响。现在已经得出某类物体的视觉词库，在描述一幅待检测的图片之前，现将待检测图片中的每ー个特征点与词库中的每ー个单词进行相似性计算，在满足一定阈值的情况下，认为该特征点是构成目标物体的特征点。假设经过相似性运算，图片上的特征点个数由X个缩减至T个，如图6所示，想要的是黑色方框中的目标物，但是背景上还有ー些干扰点。为了减少这些干扰点对后续图像描述的负面影响，利用特征点分布的密度特点，运用RANSAC(RANdom SAmple Consensus,随机抽样一致性算法)来处理。为简便和通用性起见，用一个圆形区域来覆盖特征点分布密集的那部分区域。图7是不同目标特征点提取处理前后的效果。由实验结果可见，经过处理后的特征点大部分都集中在物体上，更能贴近实际的描述物体，为后续的图像描述做了很好的准备工作。2. 3、图像的描述本环节的目的是设计某种表达方式来抽象图片。借鉴BOW对图片特征的描述，用一个多维向量来描述图像。描述向量元素的性质分为两类，一类为对单词本身数量的描述，一类是对单词的空间关系的描述。I)对单词本身数量的描述视觉单词库中视觉单词出现的次数。例如在实验中，
单词表有P个单词，贝1J这类物体的视觉单词向量维数为P维，(XtlX1X2......Xp^Xp^)姆ー维
数字的大小代表的是该单词出现的次数。2)视觉单词空间关系描述每个视觉单词的位置描述可以用每个视觉单词相对于物体几何中心距离与角度两个特征来描述。具体描述如下假设经过2. 2节的处理，特征点新的几何中心为(X,乃)=丄fI，其中m为处理后特征点的个数，几何中心如图8中的圆心所示。圆心周围的标志物为物体上的特征点，以右上角的正五边形为例，它相对应几何中心的距离为L，角度为0。对于距离计算每一个特征点与几何中心(Xl，Y1)的欧式距离，
(L1, L2, L3,......Lm+ Lm)，取中值作为单位长度L，其他长度按照各自长度与L的比值划分 为0 0. 5L, 0. 5L L, L I. 5L, I. 5L MAX四个区间。对于角度任意选择ー个特征点，计算其他所有点与该点相对于中心点的夹角。通过简单的数学变换，得到每ー个点所对应的角度(Q1, 02) Q3……匕-ェ，e J，考虑到每ー个e角度不会很大，故将e的区间划分为如下O。 30° 30° 60° ,60° 90° ,90° 12O。, 120° MAX这五个区间。2. 4、求取某类物体的判别函数在机器人实际导航过程中，机载摄像机不断读入现实环境的图片，运用离线训练得出的判别函数对读入的图片进行判决，本环节将介绍判别函数的求取。分类器是进行模式分类的常用手段，支持向量机分类器具有对小样本下推广能力强的优势，受到较高关注。支持向量机通过在特征空间中找到ー个满足最大间隔的超平面实现两类数据划分。对ー个变量X，以及所属类别标签Y= ±1，通过分类函数来实现模式学习和分类。本发明选择线性支持向量机，对图像库的视觉单词直方图集合进行监瞀训练。在训练过程中，用含用目标物体的图片作为正的图片输入，此时Y= I ;不含有目标物体作为负的图片输入，此时Y =-I。由此可以离线训练出对一般物体判别的支持向量机函数，有了判别函数，机器人可以据此在行进过程中对自然路标进行识别，从而完成自身定位。3、导航过程中机器人自身粗定位在第I小节有关手绘地图的介绍中给出手绘地图包含的信息目标的像素位置，机器人的初始像素位置以及起点至終点的大致直线距离。将手绘地图信息和机器人自身配备的传感器对真实世界的感知结合起来，可以完成机器人自身的粗定位。在绘制机器人导航路径过程中，提取k+1的关键点，将一条手绘地图路径划分为k个部分，姆一段表示为从结点IV1到Iii的直线//, ,//,(/ = 1,2,...,/0 ,机器人起始位置为A ^ nQ。路面打滑等因素会造成机器人本身里程计信息的误差，机器人需要根据间的实际行走路程LA更新比例尺mi+1。路程//ハ的初始比例尺IH1由公式⑴给出，其中(1( , )代表的是第一个结点与最后ー个结点之间的实际距离，d’ (n0, nk)代表的是手绘地图中第一个结点与最后ー个结点之间的像素距离。假设某一时刻机器人沿G行走并观察到Iii附近的自然路标Li,此刻机器人与Li之间的粗略米制距离由式(2)计算，其中!■代表机器人在手绘地图中的当前位置，IV1表示机器人到达Iv1结点后经过自定位获得的位置，d’表示手绘地图中的相对像素距离，Hii代表“的这段路程的地图比例尺，t为像素距离阈值，d’ (r, Li)代表的是手绘地图中机器人当前的位置与自然路标Li之间的像素距离，d’(IVpni)代表的是在手绘地图中机器人上一次自定位的位置与第Hi个结点之间像素距离，(Kiv1, r,)代表的是机器人上一次自定位的位置IV1到机器人本次自定位的位置巧的实际距离，d’(I^rv1)代表的是手绘地图中机器人当前的位置与上ー个自然路标IV1之间的像素距离，s(r，Li)代表的意义是机器人自身携帯的声纳传感器测得的当前机器人与自然路标Iii之间的距离。到达目地结点Iii后，由公式(3)更新机器人自定位后的实际位置r,_,&代表的是由机器人上一次自定位的位置IV1到机器人本次自定位的位置巧的向量，^代表的是由机器人上一次自定位的位置IV1到自然路标Li的向量，^代表是由自然路标Li到机器人本次自定位的位置A的向量，最后用公式⑷更新地图的比例尺mi+1，其中Hii代表的是上一次的比例尺，d’(IVpni)代表手绘地图中机器人上一次自定位的位置IV1与结点Iii之间的像素距离，代表的是机器人上一次自定位的位置IV1与机器人本次自定位的位置A之间的距离。
权利要求
1.一种基于一般物体识别的机器人视觉导航方法，包括如下步骤 (1)绘制实际环境的手绘地图； (2)机载摄像机读入实际环境的图片； (3)运用判别函数对读入的图片进行判决，识别自然路标； (4)机器人通过传感器测量识别的自然路标和机器人的位置关系，完成自定位。
2.根据权利要求I所述基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤(I)中，手绘地图呈现给机器人的信息包括机器人的起始点和方向，路径的起点和终点，起点和终点之间的大概实际物理距离，机器人从起点到终点过程中会遇到的关键路标的大体位置；将机器人引导到关键路标附近，然后向着下一个关键路标运行。
3.根据权利要求I所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤(2)还包括 ①建立视觉词库进行图片的特征点检测，生成各类物体的视觉词库； ②图像预处理将待检测图片中的每一个特征点与视觉词库中的每一个视觉单词进行相似性计算，若特征点与相应视觉单词的误差不大于设定的阈值，认为该特征点是构成目标物体的特征点； ③用一个多维向量描述预处理后的图像。
4.根据权利要求3所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤①中，还包括对视觉词库中的视觉单词进行聚类分析的步骤。
5.根据权利要求3所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤②中，还包括运用随机抽样一致性算法处理背景上的干扰点的步骤。
6.根据权利要求3所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤③中，多维向量中的元素的性质包括对视觉单词本身数量的描述和视觉单词空间关系描述，其中对视觉单词本身数量的描述指视觉单词库中视觉单词出现的次数，视觉单词空间关系描述指用每个视觉单词相对于物体几何中心距离特征与角度特征来描述每个视觉单词的位置特征。
7.根据权利要求I所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述步骤(3)中的判别函数由离线训练得出。
8.根据权利要求3所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述特征点检测和描述采用GPU加速图像处理。
9.根据权利要求I所述一种基于一般物体识别的机器人视觉导航方法，其特征在于所述传感器为声纳传感器。
全文摘要
本发明公开了一种基于一般物体识别的机器人视觉导航方法，包括如下步骤绘制实际环境的手绘地图；机载摄像机读入实际环境的图片；运用判别函数对读入的图片进行判决，识别自然路标；机器人通过传感器测量识别的自然路标和机器人的位置关系，完成自定位。本发明解决在室内未知环境中机器人的自主导航问题。
文档编号G01C21/00GK102853830SQ20121032116
公开日2013年1月2日 申请日期2012年9月3日 优先权日2012年9月3日
发明者李新德, 张晓 , 朱博, 金晓彬 申请人:东南大学