专利名称：基于立体视觉和信息融合的盲人自主导航方法
技术领域：
本发明涉及一种导航系统，尤其涉及一种基于立体视觉和信息融合的盲人自主导
航方法。
背景技术：
我国有上千万的弱势群体，他们出行时会面临各种复杂、多变的交通环境，日益增 多的机动车辆、道路中的各种障碍物都将威胁到盲人的出行，盲人的出行一类是步行，一类 是乘车远行，盲人的行走需要一个导航仪或者导航犬。 立体视觉(stereo vision)是计算机视觉的核心技术之一，利用其可建构出环境 中的物体在图像中的深度信息。双目视觉是目前被广泛关注的一种立体感知系统，它具有 结构紧凑、能耗小、信息量丰富、较高的识别准确度等优点。但基于立体视觉方法设计的导 盲辅具易受环境光源与遮蔽物的影响，立体匹配产生的噪声使得主要目标物不易与背景分 离，导致障碍物误判率增大，且获取的目标深度信息往往存在较大误差。超声波传感器具有 较高的距离探测精度，但在复杂环境中使用受限。目前的导盲辅具多以上述两者中的一种 为主，再结合其它传感器进行障碍物的探测，缺乏有效利用不同传感器的优点进行优势互 补的自主导航算法。
发明内容
本发明要解决的技术问题是目前盲人导航仪缺乏有效利用不同传感器的优点进 行优势互补的自主导航算法，提供一种基于立体视觉和信息融合的盲人自主导航方法。
为了克服背景技术中存在的缺陷，本发明解决其技术问题所采用的技术方案是 本发明包括底层驱动与数据通信模块，嵌入式硬件平台，I/0接口驱动摸块和Li皿X实时操 作系统，它主要包括立体视觉和多传感器信息融合方面，并按下列步骤执行左边图像与右 边图像输出连接图像预处理，图像预处理输出连接图像分割，图像分割连接特征提取，特征 提取输出连接立体匹配，立体匹配输出连接获取视差图，获取视差图输出连接获取深度图 像和目标探测与标识，获取深度图像输出连接目标探测与标识，目标探测与标识输出连接 目标尺寸、距离和方向参与计算，目标尺寸、距离和方向参与计算输出连接多传感器信息融 合，多传感器信息融合输出连接语音输出障碍位置、大小、距离及方向等信息，超声波测距、 电子罗盘测向和GPS定位输出连接多传感器信息融合。 根据本发明的另一个实施例，进一步包括所述图像预处理包括图像滤波，图像增 强，图像校准、色彩校正。 根据本发明的另一个实施例，进一步包括所述图像分割是基于HSV色彩空间的固 定阈值分割，边缘检测以及区域模板匹配等方法将图像中的路面分割出来，并通过形态滤 波将噪声块及其它怀疑目标剔除，然后采用链码跟踪算法进行连通块分析(也称Blob分 析)。 根据本发明的另一个实施例，进一步包括所述特征提取是在左、右两幅图像中提取共同的特征。 根据本发明的另一个实施例，进一步包括所述立体匹配是基于特征、区域和相关 匹配找到两幅图像之间的对应关系，利用SIFT算法(具有亮度、平移、旋转和尺度不变性) 实现左右摄像机同时获取的图像的配准。 根据本发明的另一个实施例，进一步包括所述获取视差图是通过对其进行平滑和
分类，可得出路面和障碍物的视差图，利用后者获取障碍物的深度信息。 根据本发明的另一个实施例，进一步包括所述获取深度图像是根据视差和几何关
系，获取目标三维信息。 根据本发明的另一个实施例，进一步包括所述目标检测与标识与障碍物的视差值 是一样的，利用获取视差图来标识障碍物。 根据本发明的另一个实施例，进一步包括所述目标尺寸、距离和方向参数计算是 在获取目标位置坐标后，获取其对应的块，进而估计障碍物的距离、尺寸和方向参数。
根据本发明的另一个实施例，进一步包括所述多传感器信息融合是基于立体视觉 获取障碍物的相对位置、方向、尺寸以及距离，结合超声波传感器获取的距离信息，电子罗 盘获取的方向信息和GPS获取的绝对位置信息，进一步提高导盲系统的距离探测精度和定 位、定向能力。 本发明的有益效果是本发明的算法将可以提高导盲系统的性能，对于提高盲人 的自主性和独立行走能力具有很大的实用价值。可有效地提高盲人的生活、工作质量，扩大 沟通的人群，扩展盲人的世界，适应信息社会的发展，应用前景明显，经济效益和社会效益 可观。
下面结合附图和实施例对本发明进一步说明。
图1是本发明的算法流程示意图；
图2是本发明的系统软件示意图。
具体实施例方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的
示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。 图2是本发明的系统软件示意图，图中基于嵌入式硬件平台和Li皿x实时操作系
统搭建系统软件结构，主要分为多传感器数据采集、数据通信与传输存储、信息处理与融
合、信息显示与用户接口几个部分。导航算法主要侧重在立体视觉和多传感器信息融合方
面，算法流程图如图1所示，图中主要包括左边图像与右边图像输出连接图像预处理，图像
预处理输出连接图像分割，图像分割连接特征提取，特征提取输出连接立体匹配，立体匹配
输出连接获取视差图，获取视差图输出连接获取深度图像和目标探测与标识，获取深度图
像输出连接目标探测与标识，目标探测与标识输出连接目标尺寸、距离和方向参与计算，目
标尺寸、距离和方向参与计算输出连接多传感器信息融合，多传感器信息融合输出连接语
音输出障碍位置、大小、距离及方向等信息，超声波测距、电子罗盘测向和GPS定位输出连
接多传感器信息融合。
本发明主要包括如下步骤图像预处理包括图像滤波，图像增强，图像校准、色彩 校正；图像分割是基于HSV色彩空间的固定阈值分割，边缘检测以及区域模板匹配等方法 将图像中的路面分割出来，并通过形态滤波将噪声块及其它怀疑目标剔除，然后采用链码 跟踪算法进行连通块分析(也称Blob分析)；特征提取是在左、右两幅图像中提取共同的 特征；立体匹配是基于特征、区域和相关匹配找到两幅图像之间的对应关系，可利用SIFT 算法(具有亮度、平移、旋转和尺度不变性)实现左右摄像机同时获取的图像的配准；获取 视差图是通过对其进行平滑和分类，可得出路面和障碍物的视差图，利用后者获取障碍物 的深度信息；获取深度图像是根据视差和几何关系，获取目标三维信息；目标检测与标识 与障碍物的视差值是一样的，可利用获取视差图来标识障碍物；参数计算是在获取目标位 置坐标后，可获取其对应的块，进而估计障碍物的距离、尺寸和方向参数；多传感器信息融 合是基于立体视觉获取障碍物的相对位置、方向、尺寸以及距离，结合超声波传感器获取的 距离信息，电子罗盘获取的方向信息和GPS获取的绝对位置信息，进一步提高导盲系统的 距离探测精度和定位、定向能力；信息输出获取障碍物的位置、大小、形状、距离、方向的 信息，并以语音或振动输出方式提示使用者。 本发明的算法将可以提高导盲系统的性能，对于提高盲人的自主性和独立行走能
力具有很大的实用价值。可有效地提高盲人的生活、工作质量，扩大沟通的人群，扩展盲人
的世界，适应信息社会的发展，应用前景明显，经济效益和社会效益可观。 以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完
全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术
性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
权利要求
一种基于立体视觉和信息融合的盲人自主导航方法，包括底层驱动与数据通信模块，嵌入式硬件平台，I/O接口驱动模块和Linux实时操作系统，其特征在于它主要包括立体视觉和多传感器信息融合方面，并按下列步骤执行左边图像与右边图像输出连接图像预处理，图像预处理输出连接图像分割，图像分割连接特征提取，特征提取输出连接立体匹配，立体匹配输出连接获取视差图，获取视差图输出连接获取深度图像和目标探测与标识，获取深度图像输出连接目标探测与标识，目标探测与标识输出连接目标尺寸、距离和方向参与计算，目标尺寸、距离和方向参与计算输出连接多传感器信息融合，多传感器信息融合输出连接语音输出障碍位置、大小、距离及方向等信息，超声波测距、电子罗盘测向和GPS定位输出连接多传感器信息融合。
2. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述图像预处理包括图像滤波，图像增强，图像校准、色彩校正。
3. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述图像分割是基于HSV色彩空间的固定阈值分割，边缘检测以及区域模板匹配的方法将 图像中的路面分割出来，并通过形态滤波将噪声块及其它怀疑目标剔除，然后采用链码跟踪算法进行连通块分析(也称Blob分析)。
4. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于所述特征提取是在左、右两幅图像中提取共同的特征。
5. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于所述立体匹配是基于特征、区域和相关匹配找到两幅图像之间的对应关系，利用SIFT算法(具有亮度、平移、旋转和尺度不变性)实现左右摄像机同时获取的图像的配准。
6. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于所述获取视差图是通过对其进行平滑和分类，可得出路面和障碍物的视差图，利用后者获 取障碍物的深度信息。
7. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述获取深度图像是根据视差和几何关系，获取目标三维信息。
8. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述目标检测与标识与障碍物的视差值是一样的，利用获取视差图来标识障碍物。
9. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述目标尺寸、距离和方向参数计算是在获取目标位置坐标后，获取其对应的块，进而估计 障碍物的距离、尺寸和方向参数。
10. 如权利要求1所述的基于立体视觉和信息融合的盲人自主导航方法，其特征在于 所述多传感器信息融合是基于立体视觉获取障碍物的相对位置、方向、尺寸以及距离，结合 超声波传感器获取的距离信息，电子罗盘获取的方向信息和GPS获取的绝对位置信息，进 一步提高导盲系统的距离探测精度和定位、定向能力。
全文摘要
本发明涉及导航系统的技术领域，尤其是一种基于立体视觉和信息融合的盲人自主导航方法。左边图像与右边图像输出连接图像预处理，图像预处理输出连接图像分割，图像分割连接特征提取，特征提取输出连接立体匹配，立体匹配输出连接获取视差图，获取视差图输出连接获取深度图像和目标探测与标识，获取深度图像输出连接目标探测与标识，目标探测与标识输出连接目标尺寸、距离和方向参与计算，目标尺寸、距离和方向参与计算输出连接多传感器信息融合，多传感器信息融合输出连接语音输出障碍位置、大小、距离及方向等信息，超声波测距、电子罗盘测向和GPS定位输出连接多传感器信息融合。本发明的算法对于提高盲人的自主性和独立行走能力有很大的实用价值。
文档编号G06T7/00GK101701828SQ20091023498
公开日2010年5月5日 申请日期2009年11月23日 优先权日2009年11月23日
发明者刘云辉, 刘顺, 周东翔, 杨延光, 范才智, 蔡宣平 申请人:常州达奇信息科技有限公司