机器人仿生室内定位导航方法与流程

文档序号:16283230发布日期:2018-12-14 23:03阅读:802来源:国知局
本发明涉及机器人仿生室内定位导航方法,属于对室内机器人自主定位与导航
技术领域

背景技术
:定位导航技术是实现室内移动机器人自主完成工作的重要前提,众多专家学者对该技术进行了十分深入的研究,定位导航技术差异直接影响服务机器人的使用体验。目前,室内移动机器人主要是通过惯性传感器、wi-fi、激光雷达或者图像传感器进行里程的精确计算,完成定位导航工作。仿生学是一门模仿生物的特殊本领,利用生物结构和功能原理来研制机械或新技术的学科。它是一门集生命科学、物理学、资讯科学、脑与认识科学、工程学、力学、造型艺术及系统科学等学科的交叉学科。如今研究范围包括:力学仿生、分子仿生、能量仿生和信息与控制仿生。生物具有的功能迄今比任何人工制造的机械都要优越,仿生学的目的就是在工程上实现并有效地应用生物功能。例如生物体的信息接受(感觉功能)、信息传递(神经功能)和自动控制系统的结构或功能在机械设计领域产生了很大启发。目前,仿生学的研究方法已经广泛应用于电子、计算机、控制和机械等各个领域,并为该领域的研究做出了很大贡献。人类作为智能化程度最高的生物,在面对定位导航的问题时相比于机器人有很大的优势。除了人脑的处理能力十分强大外,人的定位导航机制是经过漫长的自然选择产生的优秀成果,对机器人的定位导航技术有很大的借鉴意义。人类获取环境的信息通过视觉、听觉、触觉和嗅觉,其中视觉获取的信息占80%~90%,并且与人类定位导航有关的信息绝大部分是来源视觉信息。因此,通过仿生人类视觉实现定位导航技术是最为贴近人类的研究方式。在上个世纪60年代,由于世界各国开始月球的探测计划,移动机器人的研究成为了热点。当时的移动机器人并不具备自主运动的能力,需要通过远程遥控手段控制机器人运动。直到1972年,美国斯坦福研究院研发成功第一台具有智能的自主机器人shakey。shakey通过测距仪、视觉相机、电动机和编码器等传感器获取机器人自身的运动信息和环境信息。其目的是实现机器人在复杂环境下,自主识别,推理规划,并做出控制决定,但是由于当时计算机体积庞大且运算速度慢,shakey通常需要几小时才能完成环境感知和行为规划,系统不具备实时工作能力。因此,定位导航技术作为移动机器人的一项关键技术一直没有停止研究的步伐。70年代末,随着计算机的应用和传感技术的发展,移动机器人研究又出现了新的高潮。特别是在80年代中期,设计和制造机器人的浪潮席卷全世界。一大批世界著名的公司开始研制移动机器人平台,这些移动机器人主要作为大学实验室及研究机构的移动机器人实验平台,从而促进了移动机器人学的定位导航技术的产生和发展。90年代以来,以研制高水平的环境信息传感器和信息处理技术、高适应性的移动机器人控制技术、真实环境下的规划技术为标志,开展了移动机器人更高层次的研究。按照工作环境的不同,移动机器人可分为:室内移动机器人和室外移动机器人。不同的工作环境所涉及的定位导航方法也有所差异,室内机器人的导航方法通常又可以分为:电磁导航、航迹导航、传感器导航和视觉导航等。具体如下:(1)电磁导航需要预先埋设导线,机器人通过导线的电磁场作为导航路径。这种导航方法具有定位精度高,环境变化不敏感的特点。但该方法铺设成本较高,灵活性差,一旦铺设完成后不易改变导航线路。电磁导航技术国外研究较早,技术较为成熟。(2)航迹导航是推算机器人运动轨迹的定位导航方法[25]。目前使用较多的方法是利用编码器、惯性传感器对机器人的行进路程和位姿进行估计,这也是一种最为基本的导航方法。不难发现,该方法虽然实现简单,运算速度快,但是不适合进行长时间的导航工作。这是由于随着机器人运动的时间的增加,对航迹的计算误差也在不断累加,最终很可能因为累积误差过大导致导航失败。因此,减少航迹的机械误差和算法误差是该方法研究的重点任务。(3)传感器导航是目前使用范围最广、效果最好的导航方法之一[25]。该方法通过移动机器人配备的超声、红外、wi-fi或激光雷达等装置,对环境进行测距并推算出里程实现导航。导航的过程是通过传感器获得环境中的障碍物、墙壁等环境目标信息,即时地定位并构建环境地图,进而规划路径。现有的室内扫地机器人主要是通过激光雷达完成导航工作。红外、激光、wi-fi、超声等信息判断的环境距离信息,其测量的精度容易受到环境的影响。但是由于其具有非接触、反应速度块的优点,具有广泛的市场使用范围。对于多种传感器融合的导航方法也有较多研究。(4)视觉导航是伴随着机器视觉理论发展而兴起的,它拥有传统传感器在定位导航中难以比拟的优势,以其丰富的环境信息、直观性和高精度的优点成为导航技术研究最热门的方法。视觉定位不仅与机器人视觉有关,还涉及到摄像机标定、立体匹配、地图构建和行为规划等多方面的技术,是一个综合性的研究方向。如今,众多科研院所、高校和公司都在对视觉导航方面投入了大量的科研精力。目前,备受国内外研究者关注的课题是即时定位与地图构建(simultaneouslocalizationandmapping,slam)问题,而对于该问题的解决一般采用传感器导航方式和视觉导航方式。激光雷达slam(lidar-slam)采用非视觉类导航方法,能够精确测量距离和方位角且受环境影响程度小,但存在成本高、信息量单一的缺陷。相对于非视觉类导航方法,基于视觉的定位与导航方法凭借便于实施、可靠性高、信息量大等特点,飞速发展起来。视觉信息能够提高系统的灵活性,降低应用成本,但基于视觉的地图构建需要依赖复杂的图像处理技术,需要解决地图优化问题得到全局最优化估计,且在特征跟踪和定位的连续上存在不足。因此众多学者对视觉的即时定位与地图构建(visualslam,vslam)问题进行了研究,提出了深度数据模拟激光雷达slam的方式。该方法主要通过图像帧中的特征点对机器人的位姿进行估计,然后利用得到的位姿不断地对地图进行构建,直至检测到机器人已经完成对环境的构图。虽然视觉信息对环境的描述更加丰富全面,但这也带了更大的数据量和计算量的问题,并且目前的应用方面存在许多理论中没有考虑的问题。现在视觉导航最大的问题就是“噪声”的影响。利用图像帧对机器人的位姿不断进行估计的方法称为渐近式的匹配方式。这种匹配方式也存在与之前的航迹导航的方法有着同样的缺陷,随着机器人的运动时间增加“噪声”的影响越来越大,出现的误差被不断累积直至造成不能容忍的定位错误。对于该问题的优化,在vslam中被专门称为slam端优化理论。该理论是针对图像前端优化的问题,可以通过icp,pnp或g2o算法来实现,但是这些算法带来了大量的计算量,不能满足实时性的要求,这也是制约该导航方法的实际应用的最大的问题。针对vslam特征提取慢和极端场景的鲁棒性差等问题,提出了基于gpu加速的surf特征提取方式,却增加了机器人的成本,提高了对硬件环境的要求。dvoslam(densevisualodometry,slam),提出了一种基于有效像素点的策略进行关键帧选取的方法,虽然相比于其他基于稀疏视觉特征的方法在效果和效率上都有较大的提高,但是密集算法也引入了更大的计算量。目前slam方法能力有限,仅是完成了地图的构建部分并且构建的地图没有实现机器人导航的能力。综上所述,目前室内机器人的定位导航方法都是通过精确的测量方式得到环境地图,存在计算量大的弊端,而人类具备可以不依靠复杂的数学计算实现对环境的记忆并完成导航任务的能力。技术实现要素:针对上述技术问题,本发明提出一种机器人仿生室内定位导航方法,该方法减少了导航算法的复杂性,便于人机交互,使机器人更好地理解人类的生活方式,进而提供更好的服务。本发明所采用的技术解决方案是:一种机器人仿生室内定位导航方法,包括以下步骤:(1)基于人类视觉系统和人脑中的定位导航细胞进行人类的定位导航方法建模,得到定位导航模型;首先模拟视觉系统的水平细胞对采集的图像做光照去除处理;然后感光细胞获取环境的颜色信息和边缘信息;视网膜获取信息之后通过神经元传输到大脑进行信息处理;大脑接收信息后进一步处理获取到物品的颜色特征、形状特征和对称特征,从而识别环境中的标志物;识别标志物后与位置细胞记忆的定位点相比对得到当前位置;网格细胞类似地图记忆所有位置点的路径;人对于两个位置间的道路距离通过深度图像进行判断;头部朝向细胞分析头部朝向的方向为地图提供方位信息;(2)进行室内物品识别的仿生算法设计;通过颜色和边缘信息对物体的颜色特征、形状特征和对称特征进行提取,然后利用数据库仿生人脑的记忆功能存储特征;识别时,通过查询特征与待测的物品进行模板匹配识别;(3)进行仿生定位导航算法设计;仿生位置细胞、头部方向细胞和网格细胞的行为,并且在前文仿生人脑对视觉信息处理识别物品的基础上进行利用室内物品数据库定位;同时根据获取的定位点利用地图数据库检索出行使路径,实现导航。优选的,步骤(1)中:采用类比和模拟的仿生方法,从人眼获取信息和大脑处理信息的行为机制出发深入研究建模,从如下几项生理行为进行仿生:(1)仿生人眼对环境图像获取后首先进行亮度均衡、增强边缘对比度,然后获取图像中的颜色信息和边缘信息的行为;(2)仿生人眼能够感知环境的距离信息,但采用模糊表示的行为;(3)仿生人脑通过颜色特征和边缘特征识别标志物的行为;(4)仿生人脑通过位置细胞记忆定位点,通过记忆的标志性物品实现定位;(5)仿生人脑通过位置细胞与网格细胞共同作用,记忆路径实现导航;(6)仿生人脑利用头部方向细胞的信息,获取方位辅助导航的行为。优选的,步骤(2)中包括:图像增强;颜色信息的获取;颜色特征的获取;边缘信息的获取;边缘信息矢量化及形状特征提取;对称特征检测;以及基于物品先验数据库的识别。优选的,图像增强具体算法步骤如下:(1)对原图像进行hsv空间转换,分别取得h、s、v通道数据;(2)对v通道数据进行直方图均衡化处理;(3)将处理后的v与h、s重新融合;(4)将步骤(3)得到的hsv图像转化成rgb。优选的,利用数据库进行识别物品的算法步骤如下:(1)输入原图像,求其颜色直方图;(2)根据颜色直方图中的颜色分布情况,从颜色分布最多的开始,找到该颜色在原图像中的连通域,并且通过连通域在原图中截取相应的图像;(3)求截取的图像颜色分布直方图特征向量,得到待测颜色的特征向量;(4)利用步骤(2)颜色分布得到的分布最多的颜色作为数据库中主要颜色特征进行检索,得到符合主要颜色特征的物品记录;(5)利用步骤(4)得到的各物品的颜色特征向量与步骤(3)得到的待测向量,通过hausdorff距离进行匹配,选取阈值为小于0.9的物品表示通过颜色筛选的物品;(6)对步骤(2)截取的图像求其形状特征与通过通过步骤(5)筛选之后的物品在数据库存储的形状特征进行hausdorff距离判定,选取阈值小于1.7的物品筛选通过;(7)对步骤(2)截取的图像求取对称特征与步骤(6)筛选后的物品的对称特征进行匹配,若还无法区分,则选择步骤(6)中满足阈值条件并且hausdorff距离最小值的物品作为结果;否则,从步骤(2)中选择,颜色分布次之的重复步骤(2)到步骤(7)过程;依次循环。优选的,步骤(3)中包括:基于深度信息的路径识别;进行仿生距离表示;构建机器人地图。优选的,所述基于深度信息的路径识别包括仿生路径获取方法和仿生距离表示方法;其中仿生路径获取方法的具体步骤如下:(1)用棋盘标定方法对深度图像和rgb图像进行标定;(2)将kinect所获得的图像变换到hsv空间,获得机器人正前方景物的颜色信息;(3)将图像中与地面颜色一致部分的像素值保持不变,不一致部分设置为黑色,得到只有黑色和道路颜色的区域;(4)通过深度信息获得机器人前方道路可行驶空间的距离。若深度信息小于40厘米,则认为前方已是障碍物,不可前行;然后根据深度信息,判断图像中障碍物的左右两侧是否有道路及可行驶空间距离。本发明的有益技术效果是:本发明转变角度从人类自身出发,采用仿生的研究方法提出新的定位导航方法,该方法不依靠精确测量和复杂数学计算,完全仿生人类行为定位导航,为室内机器人导航技术的研究提供了新的思路。附图说明下面结合附图与具体实施方式对本发明作进一步说明:图1为定位导航行为仿生模型;图2为形状特征提取算法;图3为freeman链码图形;图4为仿生定位导航方法框图;具体实施方式随着机器人进入家庭,对室内机器人自主定位与导航技术的需求愈加迫切。目前,国内外对于室内机器人定位导航技术的研究,仍是通过复杂的数学运算和精确的测量来构建地图,产生了算法复杂,实时性差和不利于人机交互等问题,这与人类在定位导航中表现的行为背道而驰。因此,定位导航作为室内机器人完成服务工作的核心技术,仍是室内机器人研究的热点问题。本发明在现有视觉定位方法研究基础上,首先从生理层面对人类视觉导航行为进行分析。在人类识别物品时,主要根据物品的颜色特征和形状特征,利用自身先验知识进行物品识别。人类的定位导航主要通过视觉和大脑获取信息并进行处理。人类首先是对环境中的标志性物品进行识别并记忆,然后利用记忆中每个物品的位置,完成导航工作。为此,本发明提出一种不依靠精确测量和复杂数学计算,完全仿生人类行为的定位导航方法,为室内机器人导航技术的研究提供了新的思路。本发明所提出的定位导航方法主要分为仿生物品识别和仿生定位导航两部分。其中,仿生物品识别部分是通过基于先验的室内物品数据库实现的。首先,仿生人类视觉获取信息的行为,对人类识别物品的颜色、形状、对称性和颜色纹理等特征在数据库中进行存储;然后,将实时获取的物品信息在数据库中进行检索,判断是否存在用于定位的标志性物品。仿生定位导航部分是利用数据库形成室内地图,进行导航任务。首先,采用仿生的方法对定位点和行驶路径预先存储形成地图;然后,从视觉信息中不断检测是否存在定位的标志性物品。当视觉信息获取到存储的定位点时,利用定位点在数据库中检索机器人行驶的路径;最后依照检索得到的路径进行运动,完成定位导航工作。本发明完成的主要工作包括以下几个方面:(1)查阅相关文献,分析当前的视觉定位导航方法的原理、优势和缺陷。通过对人类视觉的生理特征和人类定位导航行为进行分析,提出一种仿生的定位导航行为模型。(2)针对人类视觉的生理特点,发现人对物品特征的关注主要是利用颜色信息,其次是边缘信息。通过这两种信息对物品的特征抽象成:颜色、形状、对称性和颜色纹理等4项内容,利用数据库中的先验知识与物品提取的特征进行匹配,完成识别。(3)根据经验可知,人类对环境导航是通过标志物及各标志物间的位置形成拓扑地图。因此,通过仿生人眼的颜色信息和深度信息的获取与处理行为,完成识别标志物,进行定位和路径测距;通过仿生人类对距离模糊处理的特点,采用模糊集方法进行距离判定与表示;最后采用识别到的标志物,在地图数据库中检索路径,实现导航。下面结合附图对本发明进行详细说明。一、人类的定位导航方法人类的定位导航活动主要的信息来源是视觉信息。据相关文献可知,人类通过视觉信息对环境中标志性物进行识别,大脑会对识别过的位置进行记忆,从而产生特定的兴奋。当识别的标志物不断增加,大脑对标志性物体的记忆不断增多,整个环境的地图在脑海中也构建的愈加完善。人类熟悉环境即是记忆过环境中标志物体,并在脑海中形成地图。若再重新进入该环境,便可以通过之前记忆的标志物进行定位,然后规划路径实现导航。此处将对人类的定位导航机制进行详细研究,仿生人类的定位导航行为进行建模。下面将进行详述。1.1人类视觉系统人类通过视觉、听觉、嗅觉和触觉等信息感知外界环境,其中将近70%~80%的信息是视觉获得到的。虽然有不少机器人通过环境的声音信息进行定位,但是针对于室内机器人视觉信息更加符合室内机器人的应用需求,因此本文采用的定位方法是视觉定位。通过人类眼球的横断面图可以看出,光线通过瞳孔经过晶状体、玻璃体最后光线射到视网膜上。视网膜由几层视觉相关的神经细胞组成,最主要的光感受器是视锥细胞和视杆细胞,其大约有一亿三千万个。视锥细胞在中央凹分布密集,而在视网膜周边区相对较少。中央凹处的视锥细胞与双极细胞、神经节细胞存在“单线联系”,使中央凹对光的感受分辨力高。因此,视锥细胞对明视觉敏感,能够获取颜色信息和边缘信息。视杆细胞在中央凹处无分布,主要分布在视网膜的周边部,其与双极细胞、神经节细胞的联络方式不变存在汇聚现象。所以视杆细胞对暗光敏感,故光敏感度较高,但分辨能力差,在弱光下只能看到物体粗略的轮廓,并且视物无色觉。视椎的空间分辨率高,视杆则对微弱光线更敏感。直视条件下,视野中心落在中央凹上。这样便对强光条件有利,弱光条件反倒不利。他们的名称来自他们的形态,但结果大致相同,只是由于所含有的感光色素不同才引起了不同的功能。视紫红质是视杆细胞的感光色素,而视锥细胞的感光色素是视紫蓝质。视紫红质由视蛋白和视黄醛结合而成,在壳处分解,在暗处又可重新合成。而视紫蓝质则在明处合成。视杆细胞在暗视觉下发挥巨大作用,可对物体的边缘信息获取。视锥细胞在明视觉下,除了轮廓信息,更多是彩色信息的获取。视锥细胞针对不同的波长的光线,也分为三种。这是由于三种视锥细胞的分子结构稍有不同导致的,对应的分为l,s,m三种视锥细胞。它们指的是长、中、短的波长的视锥细胞,其中该细胞的最大灵敏度分别为560nm、530nm和420nm。由此可知,人眼对环境信息的获取主要就是图像的颜色信息和边缘信息,而也正是通过这两种信息对环境进行了区分。视网膜细胞中,水平细胞的胞体位于内核层的外侧,发出许多水平走向的分支伸入外网层,与视杆细胞、双极细胞及网间细胞形成突触。相邻的水平细胞之间有缝隙连接。水平细胞可分为仅与视杆联系的视杆水平细胞和仅与视锥联系的视锥水平细胞。水平细胞可分为亮度型(luminosity,lhc)和色度型(chromatic,chc)。chc具有两种常见的反应类型:双相反应,对绿光超极化、对红光去极化的r/g型,对绿光去极化、对蓝光超极化的g/b型;三相反应,对红蓝光超极化、对绿光去极化。lhc水平细胞接受来自红敏视锥和绿敏视锥兴奋信号和反馈抑制信号。无光环境下,感光细胞释放相应的化学物质,水平细胞去极化。去极化的水平细胞会使临近的感光细胞超极化。反过来,在有光环境,感光细胞减少化学物质的释放,水平细胞超极化,临近的感光细胞去极化。如此,水平细胞向感光细胞提供了负反馈。水平细胞汇总接收到的感光细胞信号强度,测量出视网膜上光照的平均亮度,反馈抑制信号将感光细胞的输出信号调节到合适的水平,使双极细胞接收的信号既不会太小淹没在神经通路的噪声中,也不会太大使神经通路过饱和。在生物学上,去极化的水平细胞使感光细胞超极化的确切机制尤未可知,但是目前的研究成果可确定水平细胞具备两个作用:一是对感光细胞输出的视觉信号进行亮度调节,实现视觉的亮度适应;二是增强视像边缘的对比度,突出景物的轮廓线条。人类具备双眼视觉(binocularvision)[34],是指生物在双眼视野范围互相重叠下,所产生的视觉。因为双眼具有瞳距,所以会在视网膜产生有差别但又基本相似的图像,这种视觉信号传送至大脑之后,大脑将两幅图像之间的差异进行整合,即可判断出眼睛到物体之间的精准距离关系。故与单眼视觉相比,双眼视觉有四个明显的优势:(1)比一只眼睛多一个备份,减少因损坏影响生物的生存;(2)加大了生物的视场范围;(3)双眼叠加的效果可以起到视觉相互弥补的效果;(4)双眼的视差可以辅助产生精确的深度视觉。其中,最后一点在人类的导航行为中发挥重要的作用。综上所述,人类视觉系统接收图像信息后为防止光照对其造成影响,由水平细胞对亮度进行调节和增强图像边缘。水平细胞处理后感光细胞开始处理图像信息。其中视锥细胞在明亮场景中发挥作用,获取颜色信息和边缘信息;当处于黑暗环境时,颜色信息消失视杆细胞发挥作用获取暗视觉下的边缘信息。由此不难得出,人类视觉系统的主要功能是获取环境中的颜色信息和边缘信息。人识别生活场景也是通过该信息在大脑进一步处理完成。因此,仿生人类视觉系统不仅要仿生获取颜色信息和边缘信息,还需仿生人脑处理视觉信息的行为,将信息进一步抽象为物品特征。通过人脑将位置信息和物品相关联记忆后,便得到由标志性物品为定位点的视觉定位方法。同时,由于人类视觉还具备获取距离信息的能力这为地图的构建提供了便利之处。1.2人脑中的定位导航细胞人脑关于导航任务是有相关的细胞来完成的。早在1971年约翰·奥基夫就已经发现了位置细胞(placecells)。1980年,纽约大学研究人员发现了另一种导航细胞:头部方向细胞。这些细胞能够辨别头部朝向的方向。2014年10月6日,来自美国的科学家约翰·奥基夫(johno'keefe)和挪威的科学家夫妇梅-布里特·莫泽(may-brittmoser)和爱德华·莫泽(edvardmoser)被授予诺贝尔生理学或医学奖,以表彰他们对人脑中网格细胞(gridcells)的研究成果。从目前的生物学的研究来看,正是由于这三种导航细胞的存在,人类才具备如此出色的定位导航能力。其中位置细胞作用就是对位置信息进行记忆,该细胞位于脑的海马区。在1970年,伦敦大学的研究人员把电极记录器安置在大鼠的大脑海马区,然后让大鼠在一个它陌生的房间自由走动。这时,大鼠脑中的位置细胞会根据它所在的位置而选择性地兴奋。只有当大鼠活动到房间的特定位置,特定的位置细胞才会兴奋。这就好像给予了每个坐标一个记忆,这样大脑便记住曾经到过地方。而人类的海马区也跟大鼠的海马区是一样的。头部方向细胞,对朝向敏感。比如,当头部朝向北方的时候,一组细胞会兴奋,而头部转向南方时,另一组细胞兴奋。当动物在空间中探索时,大脑内嗅皮层中的网格细胞呈现强烈的空间放电特性:当动物到达任一网格节点时,相应的网格细胞会产生强烈的放电。网格细胞的感受野呈现迷人的六边形图案,类似大自然中雪花晶体、蜂巢的形状,完全由大脑皮层自身产生。综上所述,生物对陌生环境的记忆是通过脑中的该三种细胞共同作用的结果。由此,人类的定位导航活动可以进行这样的归纳,生物在陌生的环境中移动时,位置细胞会对其感兴趣的位置进行记忆,等到再次经过该位置时位置细胞会产生兴奋,也就是表示对该位置已经有了记忆,随着移动的增加记忆的位置越来越多,直至整个环境不在陌生。网格细胞的功能类似利用环境地图导航的作用。1.3人类的定位导航方法建模人类定位导航行为具有不依靠精确测量和数学计算的优势,且通过视觉信息进行定位,信息丰富。信息与控制仿生是仿生学中的重要领域,其研究内容主要包括模拟感觉器官、神经元与神经网络、生物体中的信息处理过程以及高级中枢的智能活动等方面。例如根据象鼻虫视动反应制成的“自相关测速仪”可测定飞机着陆速度。根据鲎复眼视网膜侧抑制网络的工作原理,研制成功可增强图像轮廓、提高反差、从而有助于模糊目标检测的—些装置。由于人类的定位导航相关的生理系统十分的复杂,目前的科技水平无法模拟,因此本发明通过仿生人类定位导航的行为,建立一种可应用到室内机器人上的定位导航模型,有利于实现对目前定位导航算法的精确测量和数学计算方法的改进。本发明采用类比和模拟的仿生方法,从人眼获取信息和大脑处理信息的行为机制出发深入研究建模,从如下几项生理行为进行仿生:(1)仿生人眼对环境图像获取后首先进行亮度均衡、增强边缘对比度,然后获取图像中的颜色信息和边缘信息的行为;(2)仿生人眼能够感知环境的距离信息,但采用模糊表示的行为;(3)仿生人脑通过颜色特征和边缘特征识别标志物的行为;(4)仿生人脑通过位置细胞记忆定位点,通过记忆的标志性物品实现定位;(5)仿生人脑通过位置细胞与网格细胞共同作用,记忆路径实现导航;(6)仿生人脑利用头部方向细胞的信息,获取方位辅助导航的行为。通过对人的定位导航行为的类比和模拟,得到如图1所示定位导航模型。首先模拟视觉系统的水平细胞对采集的图像做光照去除处理。然后感光细胞获取环境的颜色信息和边缘信息。视网膜获取信息之后通过神经元传输到大脑进行信息处理。大脑接收信息后进一步处理获取到物品的颜色特征、形状特征和对称特征,从而识别环境中的标志物。识别标志物后与位置细胞记忆的定位点相比对得到当前位置。网格细胞类似地图记忆所有位置点的路径。人对于两个位置间的道路距离通过深度图像进行判断的。头部朝向细胞分析头部朝向的方向为地图提供方位信息。此处首先对人类的视觉机制进行研究,通过查阅视网膜生理结构的相关文献资料,得到人视觉系统可以获取环境的边缘信息、颜色信息和距离信息。人脑针对视觉信息识别标志性物品,位置细胞对其进行记忆,网格细胞关联不同的位置细胞进行路径搜索导航。同时人获取的距离信息,也使得人对不同的位置间的距离有模糊的认识。头部方向细胞,在生物利用网格导航中发挥着重要作用。针对于人类的定位导航行为,采用模拟的仿生方法建立仿生定位导航行为模型。二、室内物品识别的仿生算法设计针对提出的仿生的定位导航的行为模型构建了机器人系统,其中工控机需要对kinect输出的视频流进行相应的算法处理,完成室内标志物品的识别,进行定位。以下将对物品识别的算法进行详细的说明。2.1图像增强目前,国内外针对不均匀光照影响的处理方法主要分为两类,一类是基于光的入射-反射模型,在光照下采集到的图像由入射到被观察场景的光源照射总量与场景中物体反射的光照总量两部分组成,其中入射光部分称为光照分量,反射光部分称为反射分量。该方法是通过估计光照分量的形式从原图像中消除光照影响,能够有效的恢复图像颜色,但其存在计算量大的弊端,不适合用于机器人视觉信息的处理。另一类对图像直接进行处理,具有代表性的是直方图均衡化(histogramequalization,he)算法和非锐化掩膜法。其中直方图均衡化算法采用直接对灰度级进行拉伸的方式,其运算过程相对简单,对比度增强效果显著,但会存在增强过度和色彩失真等问题;非锐化掩膜法是利用高通滤波器将图像中的高频成分保留,加至原图像,通过修改系数调整图像增强幅度,使图像对比度增强,但同时也放大了噪声,加入了人工产物。由于该环节是机器人视觉信息处理的预处理部分,从实际应用角度考虑,采用直方图均衡化的方式能够将光照不足部分进行均衡化,基本满足消除颜色失真的需求。具体的算法步骤:(1)对原图像进行hsv空间转换,分别取得h、s、v通道数据;(2)对v通道数据进行直方图均衡化处理;(3)将处理后的v与h、s重新融合;(4)将步骤(3)得到的hsv图像转化成rgb。2.2颜色信息及颜色特征向量2.2.1颜色信息的获取kinect获取到的彩色图像,不管是windows操作系统,还是linux操作系统下的驱动程序都将彩色视频流以rgb格式发送。在消除光照对图像的影响后,利用rgb信息对颜色信息进行区分比较繁琐,需要更加便捷的方式。hsv是一种利用圆柱坐标系表示rgb彩色模型中的像素点的方式,这种表示法比rgb基于笛卡尔坐标系的几何结构更加直观。hsv即色相、饱和度、明度(hue、saturation、value),又称hsb,其中b是英文单词brightness。其中色相(h)是色彩的基本属性,就是平常所说的颜色名称,如红色、黄色等;饱和度(s)是指色彩的纯度,s越高表示色彩越纯,s低则色彩逐渐变灰。取0-100%的数值;明度(v)0-100%。因此将rgb空间的图像转换到hsv通道中,更有利于对颜色进行区分。从rgb转换成hsv的转换时可以假设(r,g,b)分别是一个点颜色的红、绿和蓝坐标,它们的值是在0到1之间的实数,同时设max等价于r,g和b中的最大者,设min等于这些值中的最小者。要找到在hsv空间中的(h,s,v)值,这里的h∈[0,360)度是角度的色相角,而s,v∈[0,1]是饱和度和亮度,进行计算。通过计算进行转化之后,可以利用rgb色彩模型下的像素点对应的hsv值进行颜色判断。根据有关文献可知,人眼最多能够将颜色分为10种,它们分别是:红、橙、黄、绿、蓝绿、蓝、紫、白、黑、灰。本发明通过大量实验得到10种颜色分别对应的颜色区间。首先对白、黑、灰进行划分,黑色的区间是v≤25;白色的区间是v≥60&&s≤15;灰色的区间25≤v≤60&&s≤40。s和v值处于其他区间时,利用h空间的数值可以进行颜色的细分。对于hsv空间中颜色的划分的算法,可以通过linux下的c++进行编程实现,通过cmake进行代码编译。编写代码时,可以通过opencv的资源缩减开发周期。单就rgb转换到hsv空间的实现,可以通过opencv提供的cv::cvtcolor(srcimg,hsvimg,cv_bgr2hsv)函数来实现,其中参数中srcimage时原图像,hsvimg时转换之后的矩阵,矩阵的数据时hsv三个空间的数据,进而根据颜色划分达到区分颜色的目的。2.2.2颜色特征直方图人眼感光细胞针对颜色信息有三种不同类型的感受器,可见颜色信息对人识别物品的重要性。前面的对颜色获取的算法已有相应的阐述,此处主要对物品颜色特征的表示及获取进行研究。颜色直方图(colorhistogram,ch)是一种在图像处理中应用十分广泛的颜色特征表示方法,该方法的优势在于运算简单,效果明显,能够反应出物品中所包含的不同颜色信息及其分布。早在1991年,swain和ballard提出使用颜色直方图作为图像的颜色特征的表示方法。颜色直方图方法对于图像旋转以及幅度不大的平移和缩放等几何变换不敏感,同时图像的模糊程度对颜色直方图特征的影响不大。颜色直方图的这种特性,促使它适合检索全局图像颜色相似性的场合,即通过比较两幅图像的颜色直方图统计结果进行分类。由于直方图仅表示了图像中颜色的数量特征,反映颜色的统计分布和基本色调,并没有反映图像像素的空间位置特征,于是会出现不同的图像可能具有相同的颜色统计分布。因此,本发明将一副图像划分成多个小区域,求得各区域的颜色分布之后,进行相加得到全局的颜色直方图。划分的小区域个数越多,图像的分辨能力越强。上述对颜色信息的获取利用hsv空间特点进行,获取10种人眼敏感的颜色信息。通过10种颜色信息的统计,每种物品的图像可以得到一个相应的颜色特征向量,同时方便找到最大颜色区域作为另一特征。本发明选用颜色特征直方图数据作为物品识别的颜色特征向量。2.3边缘信息及形状特征向量2.3.1边缘信息的获取除了需要对颜色进行获取之外,还需要对边缘信息进行获取。目前,提取边缘的方法大多是通过灰度图像进行的,常用的边缘检测算子有robert算子、sobel算子、prewitt算子、log算子、canny算子。从处理效果考虑,本文采用canny算子对图像的边缘进行提取。具体程序实现时,通过利用开源的opencv提供canny(image,image,100,250)函数,直接进行处理,运算速度快,效果好。其中第一个参数是输入的图像参数,且该图像须是单通道图像;第二个参数是输出图像,该图像中边缘部分是白色,其他部分是黑色;第三个参数和第四个参数表示阈值,这两个阈值中的小阈值用来控制边缘连接,大的阈值用来控制强边缘的初始分割,即如果一个像素的梯度大于上限值,则被认为是边缘像素,如果小于下限阈值,则被抛弃。如果该点的梯度在两者之间则当这个点与高于上限值的像素点连接时我们才保留,否则删除。2.3.2边缘信息矢量化及形状特征本发明在消除光照影响后,采用如图2所示的算法进行特征提取。获取图像之后由于canny算子的处理要求,所以要对图像进行灰度化。图像的灰度化可以通过从cv::cvtcolor(srcimg,greyimg,cv_bgr2gray)函数实现,其中srcimage是输入的图像,greyimage是输出的灰度图像。对greyimage利用canny算子求得物品的边缘信息之后,可以通过freeman链码的形式表示物品的边缘。freeman编码可以定义为任选一个像素点作为参考点,与其相邻的像素分别在8个不同的位置上,给它们赋予方向值0~7八个值,称为0~7个链码方向值。所以图像中的一个线条可以用freeman链码的码值串来表示称为该线条图形的边缘。若图像像素较高时,freeeman链码量也会大大增加,这也为后续的特征识别算法带了很大的复杂性。因此,本发明采用矢量化的方法表示边缘信息,不同的边缘在freeman链码中对应不同的方向,仍然采用freeeman链码表示方向信息,对应某一方向的长度值以像素为单位长度。求得各方向长度值后对长度值进行归一化,消除缩放的影响的同时也将计算复杂程度降低。本发明以矢量化的链码就作为物品的形状特征向量。2.3.3对称特征物品的边缘信息矢量化之后,也为对称特征的识别提供了解决方案。如图3所示,左面的图形是关于图像的纵轴对称的,右面的图形是关于图像的横轴对称,并且图形边缘的方向已经标出。可以发现,若6与2、5与3、1与7的长度比相同,4与0的长度比不同,则是关于纵轴对称;若0与4、5与3、1与7的长度比相同,6与2的长度比不同,则是关于横轴对称。通过该方法可以对物品的对称特征进行识别。2.4分类器在获取到物品的特征后,需要对相应的特征向量进行识别。神经网络是模式识别中运用较为广泛的方法,还有支持向量机(svm)是特征向量识别的重要工具。这些方法的收敛速度慢,需要花费较长的时间进行训练,并且如果添加新的特征向量,还需要对网络进行重新训练。考虑到室内移动机器人的工作环境中物品的增减因素,本发明采用模板匹配的方法完成分类:通过计算待测样本和标准样本间的距离,根据设定阈值进行分类。目前在模板匹配中较多采用欧式距离方法,欧氏距离主要是求出空间两条线的距离来度量两个向量间的匹配程度。但由于遮挡导致获取样本向量不全时,采用欧氏距离与模板匹配的方式,会产生很大的误差。hausdorff距离(豪斯多夫距离)量度度量空间中真子集之间的距离,能够有效避免遮挡问题对向量匹配的影响。2.5基于物品先验数据库的识别方法本发明采用数据库对室内的物品特征进行统计,通过数据查询物品及其特征向量与待测样本进行匹配,完成识别。2.5.1室内物品数据库表1是为了更加直观的说明物品数据库,根据真实的情况进行绘制的表格,其内容与数据库完全一致。本发明也将这样的表格称为数据库。表1列出了数据库中存储的8种室内物品,label是对每种不同物品进行的编码。在数据库中总共列出了4类特征,这4类特征是根据仿生人眼的物品识别规律得出。除了根据仿生人类定位导航行为模型获取特征外,还考虑到人类自身识别物品的经验。根据经验可以发现,人初次见到某一物品时,首先是对物品整体的颜色敏感,然后由颜色获取物品的形状特征,当特征信息获取后可以得出该物品是否满足对称特性,大体上了解之后,才会注意到物品的细节。细节部分本文采用颜色细节表示该特征。表1字段label是对应不同物品的编码方便查询;item字段是对应的物品的名称;color1、color2、color3字段是表示物品的主要颜色组成,color1表示颜色分布最多的,color2次之,color3分布比前两种都略少,根据人眼能感知的十种颜色,红、橙、黄、绿、蓝绿、蓝、紫、白、黑、灰,依次编码为1到10;若没有相应的颜色则编码为11。shape字段是不同形状下特征向量的编码,比如:“1”表示本地存储名为1.txt的文件中数据为该物品的形状特征向量;symmetry字段下共有三种编码,“0”表示是关于横轴对称的图形,“1”表示关于纵轴对称的图形,“2”表示关于即关于纵轴对称又关于横轴对称的图形,“-1”表示非对称图形;color_texture字段是对应于物品颜色直方图特征的编码,比如:“1”表示本地存储名为1.txt的文件中数据为该物品的颜色直方图特征向量。2.5.2利用数据库识别物品在室内物品已知的情况下,通过数据库对室内物品特征进行存储。因此利用数据库进行识别物品的算法步骤如下:(1)输入原图像,求其颜色直方图;(2)根据颜色直方图中的颜色分布情况,从颜色分布最多的开始,找到该颜色在原图像中的连通域,并且通过连通域在原图中截取相应的图像;(3)求截取的图像颜色分布直方图特征向量,得到待测颜色的特征向量;(4)利用步骤(2)颜色分布得到的分布最多的颜色作为数据库中主要颜色特征进行检索,得到符合主要颜色特征的物品记录;(5)利用步骤(4)得到的各物品的颜色特征向量与步骤(3)得到的待测向量,通过hausdorff距离进行匹配,选取阈值为小于0.9的物品表示通过颜色筛选的物品;(6)对步骤(2)截取的图像求其形状特征与通过通过步骤(5)筛选之后的物品在数据库存储的形状特征进行hausdorff距离判定,选取阈值小于1.7的物品筛选通过;(7)对步骤(2)截取的图像求取对称特征与步骤(6)筛选后的物品的对称特征进行匹配,若还无法区分,则选择步骤(6)中满足阈值条件并且hausdorff距离最小值的物品作为结果。否则,从步骤(2)中选择,颜色分布次之的重复步骤(2)到步骤(7)过程。依次循环。从表中的数据进行举例,假设对图像做全局直方图得到颜色分布最多的是白色,通过白色在数据库中的编码8进行检索得到物品的编码分别是2、desk和3、table,然后通过求出对应的形状特征就可以确定是哪种物品,因为这两种物品对应的形状特征编码不同。本发明采用的物品识别算法是通过仿生人眼的信息的基础上进行的。不难发现,采用的识别算法都是十分成熟且运算量较小的算法。这主要是考虑到机器人的实际实施环节,因此并没有采用目前研究火热的学习算法来完成识别工作。本文利用数据库管理数据方便的特点,对物品的多种特征进行预先获取,识别时利用主颜色信息从自然场景中定位到标志物品,获取其特征与数据库中的特征进行匹配。以上主要完成了仿生模型中的仿生人脑对环境的颜色和边缘信息进行获取后处理信息的过程。通过颜色和边缘信息对物体的颜色特征、形状特征和对称特征进行提取,然后利用数据库仿生人脑的记忆功能存储特征。识别时通过查询特征与待测的物品进行模板匹配进行识别。三、仿生定位导航算法设计室内移动机器人在具备物品识别的基础上,可通过室内标志性物品进行定位。该过程类似人眼对环境中标志性建筑敏感的行为,利用四周标志性建筑构建环境地图。因此本章主要仿生位置细胞、头部方向细胞和网格细胞的行为,并且在前文仿生人脑对视觉信息处理识别物品的基础上进行利用室内物品数据库定位。同时根据获取的定位点利用地图数据库检索出行使路径,实现导航。图4是本章定位导航方法框图。3.1基于深度信息的路径识别3.1.1仿生路径获取方法由以上可知人眼不仅能得到环境中的颜色信息,还可以得到深度信息。本发明研究选用microsoft公司的kinect体感器获取环境的颜色信息和深度信息,并进行相应处理获得路径信息。具体方法如下:(1)用棋盘标定方法对深度图像和rgb图像进行标定;(2)将kinect所获得的图像变换到hsv空间,获得机器人正前方景物的颜色信息;(3)将图像中与地面颜色一致部分的像素值保持不变,不一致部分设置为黑色,得到只有黑色和道路颜色的区域;(4)通过深度信息获得机器人前方道路可行驶空间的距离。若深度信息小于40厘米,则认为前方已是障碍物,不可前行。然后根据深度信息,判断图像中障碍物的左右两侧是否有道路及可行驶空间距离。通过该方法处理后,可以得到机器人直行的距离和遇障碍物后的转动方向。3.1.2仿生距离表示方法人对于距离并没有准确的概念,对路径的描述通常也采用模糊的方式。因此机器人完成路径识别后,对可运行距离可以采用模糊集进行表示。由于目前市场上深度视觉传感器的工作能力有限,机器人可识别的室内物品的极限距离设定3米,同时设定40厘米至90厘米为机器人可以进行室内物品识别的最佳距离。根据这两个限定给出机器人的路径距离的5个模糊集:d1表示“近”、d2表示“较近”、d3表示“较远”、d4表示“远”和d5表示“很远”,论域x{(30,300)}单位厘米,利用参照法分别求出对应的隶属度函数。通过视觉传感器获得了路径的具体距离信息x之后,分别将x带入上述五个模糊集的隶属度函数中求出对应的隶属度,隶属度最大的模糊集便是该距离下机器人对环境路径的距离判断。3.2机器人地图采用仿人的地图构建,主要参考人类导航技术的简单、高效性,通过对标志性建筑物的记忆便可以实现对整个场景的描述,完成导航。目前,机器人学中的地图表示方法主要有4种:栅格地图、特征点地图、直接表征法地图和拓扑地图。3.3仿人的地图构建方法本发明可以通过拓扑地图的形式实现仿生的地图。采用数据库存储拓扑地图的定位点和路径,相当于机器人记忆地图,本文将该数据库称为室内路径数据库。该数据库分别存储机器人运动中直行的模糊距离、转动方向和标志性物品等三方面内容。如表5-1所示:数据库中第一个“label”字段存储当前机器人所处标志性物品在地图中的位置编码,且该编码与物品数据库中的label对应的物品是一致的;第二个“direction”字段存储机器人的转动方向,该字段下有“0”、“3”、“4”三种编码,其0表示原地不动,3表示右转,4表示左转;第四个“distance”字段存储机器人沿道路直行的模糊距离。为方便数据的存储和查询将距离模糊集进行编码:“1”表示近、“2”表示较近、“3”表示较远、“4”表示远、“5”表示很远。最后一个“target”字段表示到达标志性物品位置的编码。整个导航过程:从label字段对应的标志性物品处出发,经过一次转动得到一条直行路径并且得到到达target字段标志性物品处编号所要行驶的距离。从表2可以看出,数据库存储的内容是由不同路标及路标间路径构成的空间缩影。表2选用数据库将拓扑地图的节点和边进行这样的存储,该行为类似人类的记忆环境的方式,同时有利于通过数据库检索路径。表3是环境路径在数据库中的存储结果。从第一条记录可以看出从位置3处出发,先右转然后找到可以直行的道路且这条道路的行使距离是3对应的距离的模糊值,然后直行相应的距离,最终会到达目标位置。不难发现整个过程与人类在环境中运动的情形一致,都是利用标志物完成定位,然后通过多个定位点间的相对位置,描述整个环境的布局。之所以采用数据库进行地图存储是因为数据库利于检索、方便编程实现且运算速度快。表33.4mpu9250辅助导航mpu9250传感器主要是为了模仿人脑的头部方向细胞的作用。头部方向细胞是人类定位导航行为的重要辅助性的细胞。本文也采用该传感器获取机器人的方位信息。该传感器具备采集加速度、陀螺仪和电子罗盘的数据的能力。以上主要利用数据库构建了一种仿人的拓扑地图,并且在此基础上完成了仿生的导航活动。在上一章基于视觉进行物品识别的基础上,将识别到的标志性物品作为定位点。通过对不同的机器人地图进行研究,在与人类记忆环境的特点进行比较后,选用了拓扑结构地图。该地图包括节点和边,类似人类对环境记忆时的定位点和路径的关系。由于该地图只有点和线的信息,因此具有构建变简单,查询方便的优势。由于人类对距离的描述没有采用精确测量的手段,因此将移动机器人的测量距离进行模糊化,减少了数据量。最后,为了方便查询和存储,利用数据库对地图信息进行存储。另外,由于mpu9250的方位信息的引入使得机器人的位置信息可以与自然界的方位信息建立联系。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1