专利名称：一种基于立体视觉的盲人辅助行走装置及其辅助方法
技术领域：
本发明属于机器视觉领域，具体涉及一种基于立体视觉的盲人辅助行走装置及其 辅助方法。
背景技术：
世界上约有五六千万盲人，我国盲人数量约占世界盲人总数的四分之一。盲人是 弱势群体，需要社会更多的帮助，使他们提高独立生活的能力，拥有更好的生活质量。辅助 盲人行走是很重要的一个方面。国内外已经研究开发了多种辅助盲人行走的工具，但仍存 在许多问题。例如辅助盲人识别交通信号灯的设备，有的要求在每个路口安装发声装置， 有的要求控制红绿灯，这会增加成本，并会对他人造成干扰。大部分辅助盲人行走的设备采 用超声波、红外线或雷达来探测障碍物，但这些探测方法具有方向性，只能探测一定角度范 围内的障碍物，只能探测一定距离范围内的障碍物，并且无法辨别障碍物的大小，无法识别 交通信号灯。有的基于计算机视觉的盲人导航系统只能沿预先设定的路线行走，有很大的 局限性。人工视网膜植入技术成本高，技术复杂，不易推广。引导式机器人需要复杂的算法 支持，成本较高，并且对走楼梯和倾斜的路面、跨越障碍有一定困难。谢易铮提出了采用TOSHIBA笔记本电脑，QuickCam Pro 4000CCD和耳机实现盲 人辅助系统(详见参考文献谢易铮，“以立体视觉实作盲人辅具系统”，国立中央大学资讯 工程研究所硕士学位论文，台湾，2006年7月)。谢易铮提出利用"路面区域增长法"先切 割出环境的路面区域，然后进行“影像量化”，非路面区域根据量化的影像区域块去做影像 比对，利用“分群的方法”去除影像杂讯，建立出陌生环境资讯，侦测出障碍物，并利用“立 体区域比对"和"不相称分群"来得到障碍物的距离。谢易铮的盲人辅助系统整体算法复 杂，采用的CCD摄像头无法适应室内外自然光线强弱的变化，在强烈日光、逆光及傍晚光线 暗时会造成图像不清晰，在室外工作时会遇到困难。他采用的障碍物距离测量方法复杂，测 距准确率低。他仅在室内做了静态障碍物检测实验，对室外辅助行走、道路轮廓提取、偏离 道路预警、动态障碍物检测及交通信号灯检测等方面未进行研究。
发明内容
本发明要解决的技术问题是克服上述现有技术的不足，提供一种基于立体视觉的 盲人辅助行走装置及其辅助方法，该装置不仅能适应自然光强弱变化，通过语音提示，辅助 盲人在室内外无障碍地行走，安全通过交叉路口和对偏离道路预警，还使测量障碍物距离 的方法简便易于实现。本发明的技术方案如下一种基于立体视觉的盲人辅助行走装置，该装置包括双目摄像机、中央处理模块 和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处理模块相 连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软 件，该中央处理模块的输出端与所述的语音输出模块相连。
所述的双目摄像机为采用超宽动态，强光抑制，低照度摄像机。所述的双目摄像机采用动态范围是1 400的超宽动态低照度摄像机。所述的双目摄像机采用最低照度为0. 05Lux的超宽动态低照度摄像机。所述的中央处理模块采用嵌入式机器视觉图像处理平台。所述的语音输出模块为所述的中央处理模块自带的语音模块或耳机。利用上述基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，包括下列步 骤①将所述的双目摄像机的左目摄像机、右目摄像机对称地安装在盲人帽子前方， 离地面等高且左目摄像机、右目摄像机的中心间距固定，该左目摄像机、右目摄像机与所述 的中央处理模块相连，所述的中央处理模块的输出端与所述的语音输出模块相连，将语音 模块的耳机塞在盲人的耳孔中；②启动所述的盲人辅助行走装置，左目摄像机、右目摄像机同步实时地采集路况 信息；中央处理模块以每秒2-8帧的速度分别将左目摄像机、右目摄像机摄取的视频图像 变为连续的分幅的图像序列并暂存；③所述的中央处理模块首先将左目摄像机或右目摄像机采集的连续的分幅的图 像序列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行Carmy边 缘检测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘当是道路边缘时，同时进行步骤④、⑤、⑥；当不是道路边缘时，同时进行步骤④、⑤；④障碍物处理所述的中央处理模块对单目摄像机采集的连续图像帧序列，在图 像上选择使用者前进方向上的梯形感兴趣区域，对该区域根据灰度值提取障碍物区域，提 取障碍物目标；检测到障碍物目标后，所述的中央处理模块对双目摄像机另一个单目摄像 机采集的同一帧图像，采用视差法计算障碍物的距离；⑤交通信号灯处理所述的中央处理模块对左目摄像机或右目摄像机采集的连续 图像帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交通信号灯 颜色和信号灯位置的语音提示；⑥偏离道路处理所述的中央处理模块根据提取出的道路边缘线在图像中的位置 和倾角，判断使用者偏离道路的情况，给出语音提示。计算所述的检测出的直线长度，并判断如果该长度大于阈值，并且在左、右图中 直线与图像的中垂线的夹角在0° 90°，则该直线为道路边缘。所述的障碍物处理中的梯形感兴趣区域是根据使用者的实际情况设置。所述的交通信号灯处理中模板匹配是通过提供被测物体原型，计算模板的所有相 关位置与图像各个位置之间的相似度，在输入的图像中寻找目标物体。本发明的技术效果与上述的现有技术相比，本发明由于采用了超宽动态低照度摄像机，可以适应自 然光强弱变化；特别是动态范围1 400和最低照度0. 05Lux的超宽动态低照度摄像机的 选用，使本装置适应强烈日光或傍晚微弱光线的情况；在双目立体视觉障碍物测距中采用 求取相似度进行匹配的方法后，本装置辅助盲人行走的方法简便易行、易于实现；本装置还 具有检测静态、动态障碍物，检测道路轮廓，识别交通信号灯，进行室内外导航等功能。
图1是本发明基于立体视觉的盲人辅助行走装置的结构框2是本发明装置主程序流程3是本发明装置道路边缘检测程序流程4是本发明装置障碍物检测程序流程5是图像的坐标及ROI区域设置
具体实施例方式下面结合附图对基于立体视觉的盲人辅助行走装置进行详细的描述。先请参阅图1，图1是本发明基于立体视觉的盲人辅助行走装置的结构框图，由图 可见，本发明基于立体视觉的盲人辅助行走装置，包括双目摄像机1、中央处理模块2和语 音输出模块3，所述的双目摄像机的左目摄像机11、右目摄像机12对称地安装在盲人帽子 前方，该左目摄像机11和右目摄像机12与所述的中央处理模块2相连，所述的中央处理模 块2具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块2 的输出端与所述的语音输出模块3相连。该双目摄像机1采用杰士安JSA-WZS31480CE超宽动态低照度摄像机，超宽动态范 围1 400，520/570线超高水平清晰度，具有背光补偿功能，数字噪音消除(SDNR)功能，影 像传感器1/3英寸，CCD总像素795 (水平)X 596 (垂直)(PAL制式)/811 (水平)X 508 (垂 直)(NTSC制式)，扫描系统625线，50场/秒(PAL制式)/525线，60场/秒(NTSC制式)， 最低照度0. 05Lux (F1. 2,5600° K)，星光模式:0· OOlLux (F1. 2)。该双目摄像机1把采集到的实时路况信息传输到中央处理模块2。中央处理模块 2通过图像处理软件对摄像机采集的视频图像进行处理，把处理结果通过语音模块3输出。本发明基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，包括下列步骤①将所述的双目摄像机1的左目摄像机11、右目摄像机12对称地安装在盲人帽子 前方，离地面等高且左目摄像机11、右目摄像机12的中心间距固定，该左目摄像机11、右目 摄像机12与所述的中央处理模块2相连，所述的中央处理模块2的输出端与所述的语音输 出模块3相连，将语音模块的耳机塞在盲人的耳孔中；②启动所述的盲人辅助行走装置，左目摄像机11、右目摄像机11同步实时地采集 路况信息；中央处理模块2以每秒2-8帧的速度分别将左目摄像机11、右目摄像机12摄取 的视频图像变为连续的分幅的图像序列并暂存；③所述的中央处理模块2首先将左目摄像机11或右目摄像机12采集的连续的 分幅的图像序列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行 Canny边缘检测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘当是道路边缘时，同时进行步骤④、⑤、⑥；当不是道路边缘时，同时进行步骤④、⑤；④障碍物处理所述的中央处理模块2对单目摄像机(左目摄像机11或右目摄像 机12)采集的连续图像帧序列，在图像上选择使用者前进方向上的梯形感兴趣区域，对该 区域根据灰度值提取障碍物区域，提取障碍物目标；检测到障碍物目标后，所述的中央处理
6模块2对双目摄像机1另一个单目摄像机(右目摄像机12或左目摄像机11)采集的同一 帧图像，采用视差法计算障碍物的距离；⑤交通信号灯处理所述的中央处理模块2对左目摄像机11或右目摄像机12采 集的连续图像帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交 通信号灯颜色和信号灯位置的语音提示；⑥偏离道路处理所述的中央处理模块2根据提取出的道路边缘线在图像中的位 置和倾角，判断使用者偏离道路的情况，给出语音提示。下面作详细说明图2是本发明装置主程序流程图，装置启动后，双目摄像机1实时采集视频信息， 输入到中央处理模块2。中央处理模块2以每秒2 8帧的速度将视频变为连续图像帧序 列。对双目摄像机1采集的图像进行预处理，然后进行道路边缘检测如图3所示，道路边缘检测的流程为对双目摄像机1采集的连续图像帧序列进行 彩色到灰度的变换，然后采用中值滤波进行预处理，去除图像中的噪声。然后将图像变为左 右两半图像，分别进行Carmy边缘检测和Hough变换直线检测。对检测出的直线进行判断， 若长度大于阈值(由编程人员根据实际情况设定，此处设置为200)，且直线与图像中垂线 的夹角在(0° 90° )范围内，则认为此直线为道路边缘线，给出道路边缘线的倾角与坐 标原点到直线的距离。根据左右两半图像提取出的道路边缘线，可以确定道路区域范围。如果图像中检测出道路边缘线，同时运行3个子程序(a)障碍物处理包括障碍物检测与障碍物距离测量(详见子程序说明)(b)交通信号灯处理(详见子程序说明)(c)偏离道路处理(详见子程序说明)。如果图像中没有检测出道路边缘线(例如行走在广场上)，则同时运行2个子程 序(a)障碍物处理包括障碍物检测与障碍物距离测量(详见子程序说明)(b)交通信号灯处理(详见子程序说明)；各个子程序运行结束后，返回读取下一帧图像。子程序说明子程序(a)障碍物处理如图2所示，首先进行障碍物检测障碍物检测的流程如图4所示，首先输入单目摄像机(例如左目摄像机11)拍摄 的连续图像帧序列的一帧图像。感兴趣区域(R0I区域)由软件设计人员根据实际情况设 置，如图5所示，此处设置为使用者前进方向由AB⑶构成的梯形区域。A、B、C、D的坐标分 别为(180，200)、(180，440)、(480,40)和(480，600)。ROI区域的图像文件由编程人员预 先存储在中央处理模块2中。将输入图像与ROI区域取交集，根据障碍物与路面灰度值的 差异提取障碍物目标。将灰度值在一定范围内的区域提取出来，灰度值范围由编程人员根 据实际情况设定，此处设置为1-120。然后对提取出的区域做腐蚀处理，再把相近的区域连 通。对连通区域面积进行判断，面积小于阈值(由编程人员根据实际情况设定，此处设置为 300)的区域被丢弃。将提取出的面积大于阈值的连通区域转变成矩形区域。计算各个矩形 区域与图像的灰度值偏差，偏差大于阈值(由编程人员根据实际情况设定，此处设置为5) 的区域判定为障碍物。
7
如果检测出障碍物，进行障碍物距离测量，障碍物距离测量的方法如下在单目摄像机(此处假定左目摄像机11)拍摄的图像中检测出障碍物目标后，取 双目摄像机中另一个摄像机(此处即是右目摄像机12)拍摄的同一帧图像，采用视差法求 障碍物距离。即在右目摄像机12拍摄的同一帧图像中，在与障碍物目标相同横坐标(或称 作行坐标)的位置上，寻找障碍物目标的最佳匹配点。以障碍物目标为中心选定一个3X3 的矩形窗口，在右目摄像机12拍摄的该帧图像中以灰度相关函数为相似度进行测量，见下 式
权利要求
1.一种基于立体视觉的盲人辅助行走装置，其特征在于该装置包括双目摄像机、中央 处理模块和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处 理模块相连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图 像处理软件，该中央处理模块的输出端与所述的语音输出模块相连。
2.根据权利要求1所述的基于立体视觉的盲人辅助行走装置，其特征在于所述的双目 摄像机为采用超宽动态，强光抑制，低照度摄像机。
3.根据权利要求1或2所述的基于立体视觉的盲人辅助行走装置，其特征在于所述的 双目摄像机采用动态范围是1 400的超宽动态低照度摄像机。
4.根据权利要求1至3任一项所述的基于立体视觉的盲人辅助行走装置，其特征在于 所述的双目摄像机采用最低照度为0. 05Lux的超宽动态低照度摄像机。
5.根据权利要求1所述的基于立体视觉的盲人辅助行走装置，其特征在于所述的中央 处理模块采用嵌入式机器视觉图像处理平台。
6.根据权利要求1所述的基于立体视觉的盲人辅助行走装置，其特征在于所述的语音 输出模块为所述的中央处理模块自带的语音模块或耳机。
7.利用权利要求1所述的基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，其 特征在于该方法包括下列步骤①将所述的双目摄像机的左目摄像机、右目摄像机对称地安装在盲人帽子前方，离地 面等高且左目摄像机、右目摄像机的中心间距固定，该左目摄像机、右目摄像机与所述的中 央处理模块相连，所述的中央处理模块的输出端与所述的语音输出模块相连，将语音模块 的耳机塞在盲人的耳孔中；②启动所述的盲人辅助行走装置，左目摄像机、右目摄像机同步实时地采集路况信息； 中央处理模块以每秒2-8帧的速度分别将左目摄像机、右目摄像机摄取的视频图像变为连 续的分幅的图像序列并暂存；③所述的中央处理模块首先将左目摄像机或右目摄像机采集的连续的分幅的图像序 列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行Carmy边缘检 测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘当是道路边缘时，同时进行步骤④、⑤、⑥；当不是道路边缘时，同时进行步骤④、⑤；④障碍物处理所述的中央处理模块对单目摄像机采集的连续图像帧序列，在图像上 选择使用者前进方向上的梯形感兴趣区域，对该区域根据灰度值提取障碍物区域，提取障 碍物目标；检测到障碍物目标后，所述的中央处理模块对双目摄像机另一个单目摄像机采 集的同一帧图像，采用视差法计算障碍物的距离；⑤交通信号灯处理所述的中央处理模块对左目摄像机或右目摄像机采集的连续图像 帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交通信号灯颜色 和信号灯位置的语音提示；⑥偏离道路处理所述的中央处理模块根据提取出的道路边缘线在图像中的位置和倾 角，判断使用者偏离道路的情况，给出语音提示。
8.根据权利要求7所述的辅助盲人行走的方法，其特征在于计算所述的检测出的直 线长度，并判断如果该长度大于阈值，并且在左、右图中直线与图像的中垂线的夹角在0° 90°，则该直线为道路边缘。
9.根据权利要求7所述的辅助盲人行走的方法，其特征在于所述的障碍物处理中的梯 形感兴趣区域是根据使用者的实际情况设置。
10.根据权利要求7所述的辅助盲人行走的方法，其特征在于所述的交通信号灯处理 中模板匹配是通过提供被测物体原型，计算模板的所有相关位置与图像各个位置之间的相 似度，在输入的图像中寻找目标物体。
全文摘要
本发明公开了一种基于立体视觉的盲人辅助行走装置及其辅助方法，装置包括双目摄像机、中央处理模块和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处理模块相连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块的输出端与所述的语音输出模块相连。使用者将本发明装置戴在头上，启动后，双目摄像机摄像，中央处理模块进行道路边缘检测、障碍物处理、交通灯处理和偏离道路处理。根据处理的结果通过语音输出模块给出语音提示，辅助盲人在室内外无障碍地行走，安全通过交叉路口。
文档编号A61H3/06GK101999972SQ20101055964
公开日2011年4月6日 申请日期2010年11月24日 优先权日2010年11月24日
发明者宋彦斌, 应捷, 徐珊珊, 戴曙光, 田牛 申请人:上海理工大学