基于双目立体视觉与光流融合的车辆运动信息检测方法
【专利摘要】本发明涉及一种基于双目立体视觉与光流融合的车辆运动信息检测方法,分析处理双目立体摄像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。是一种新的车辆自身运动参数的检测方法，具有装置简单，适用实际车辆使用环境，精度高，实时性强的特点。能有效地降低因为环境等因素造成的读数不准和测量有误等问题，并且视觉传感器结构简单，信息量大，提供了大量的其他信息。系统选取地面点为感兴趣的特征点，有效减少运动的物体的干扰，提高了估计的准确度。同时，融合立体视觉与光流的方法，充分利用深度信息，增强算法的稳定性与鲁棒性。
【专利说明】基于双目立体视觉与光流融合的车辆运动信息检测方法
【技术领域】
[0001] 本发明涉及一种运动视觉处理技术，特别涉及一种基于双目立体视觉与光流融合 的车辆运动信息检测方法。
【背景技术】
[0002] 在智能汽车领域，为了实现对车辆周围环境的感知，需要知道车辆自身的运动信 息，包括三维平移运动速度和三维旋转角速度。
[0003] 常用的方法是利用专门陀螺惯导装置获取这些信息，这种方法给车辆增加了额外 的装置，其提供的数据也存在精度和稳定性不高的问题。另一种方法是利用单目视觉图像 的视觉里程计方法，这种方法通过计算特定运动物体的特征点的光流来获取车辆自身运动 信息。这种方法通常只适合于较简单的场景，在变化的复杂背景中，若存在大量的运动物 体，其他运动物体的特征点对于车辆自身运动分析会造成大的干扰，降低估计的准确度。另 夕卜，光流计算的采用稠密光流计算，计算量相当巨大，难以满足实时性要求。
【发明内容】
[0004] 本发明是针对传统的视觉里程计定位因变化的复杂背景导致准确度低的问题，提 出了一种基于双目立体视觉与光流融合的车辆运动信息检测方法，分析处理双目立体摄 像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体 三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。
[0005] 本发明的技术方案为：一种基于双目立体视觉与光流融合的车辆运动信息检测方 法，具体包括如下步骤： 1) 双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列； 2) 图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像 采集卡存储图像的数字信号； 3 )左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身 的信号干扰； 4) 左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模 块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配； 5) 三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息； 6) 地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标 记出地面感兴趣的点； 7) 光流场确定模块采用Lucas-Kanade算法对步骤6)所标记的地面感兴趣点进行加权 运算获得地面感兴趣点光流大小； 8) 运动参数确定模块，根据步骤5)和步骤7)所得三维深度信息和光流大小，运用线性 最小二乘法实现车辆的运动信息估计。
[0006] 所述步骤4)立体匹配：设定5*5区域作为相关窗，选取步骤3)获得的左边缘图作 为参考图，步骤3)获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇 的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系 数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视 差； 左右边缘特征点像素灰度相关系数Cbe/:
【权利要求】
1. 一种基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，具体包 括如下步骤： 1) 双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列； 2) 图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像 采集卡存储图像的数字信号； 3) 左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身 的信号干扰； 4) 左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模 块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配； 5) 三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息； 6) 地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标 记出地面感兴趣的点； 7) 光流场确定模块采用Lucas-Kanade算法对步骤6)所标记的地面感兴趣点进行加权 运算获得地面感兴趣点光流大小； 8) 运动参数确定模块，根据步骤5)和步骤7)所得三维深度信息和光流大小，运用线性 最小二乘法实现车辆的运动信息估计。
2. 根据权利要求1所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特 征在于，所述步骤4)立体匹配：设定5*5区域作为相关窗，选取步骤3)获得的左边缘图作 为参考图，步骤3)获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇 的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系 数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视 差； 左右边缘特征点像素灰度相关系数Cbe/:
式中，IiJ2，…,?为左边缘图匹配窗口的灰度值，Jh为右边缘图匹配窗 口的灰度值，i和5分别为左右两匹配窗口像素点的平均灰度值，#为5*5匹配窗口的中像 素点个数； 左边缘图各像素点的视差?/:
式中，:?为左边缘图像素点在图像坐标系下的横坐标值，X,为右边缘图像素点在图像 坐标系下的横坐标值。
3. 根据权利要求2所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特 征在于，所述步骤5)中三维深度信息：由步骤4)中计算的视差值d，根据透射投影模型重 建三维坐标：
式中，6为双目摄像机基线长度，为摄像机焦距，A为左边缘图像素点在图像坐标系 下的横坐标值，乃为左边缘图像素点在图像坐标系下的纵坐标值，Z为场景的三维空间深度 信息，即空间任意点与基线之间的距离，Z7为场景在三维空间坐标系下的坐标值。
4. 根据权利要求3所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特 征在于，所述步骤6)建立地面点的数学模型：首先计算不同深度下的地面点的高度值!；，然 后与相同深度像素点的三维重建的7轴坐标值比较，若7轴坐标值小于等于!；，则该像素点 标记为地面感兴趣点，反之，该像素点舍弃，
式中，Z为三维重建坐标深度，"为双目摄像机距离地面高度，〃为摄像机相对地面的 倾斜角度，为深度为Z处的地面点空间高度。
5. 根据权利要求4所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特 征在于，所述步骤8)车辆的运动信息估计：采用线性最小二乘法计算车辆的三维平移速度 V= [vx，Vy]和三维旋转速度5)=[咚，》y，￡ty,
式中，Z为步骤5)所得地面感兴趣点的深度信息，JgP 为标记的地面点投影在左图 的图像坐标系中的横坐标值与纵坐标值，/为摄像机焦距K为步骤7)计算出的地面点光 流的水平和垂直方向的速度分量。
【文档编号】G06T7/00GK104318561SQ201410565278
【公开日】2015年1月28日 申请日期:2014年10月22日 优先权日:2014年10月22日
【发明者】闵琪, 吴健健, 黄影平 申请人:上海理工大学