基于双目相机的高精度视觉定位地图生成系统及方法_2

文档序号:9908604阅读:来源:国知局
参数对图像进行矫正,使图像的对极线平行;
[0046]特征点提取子单元123:用于对图像进行双目SIFT/SURF/0RB特征点提取,得到鲁 棒性特征点;
[0047] 特征点匹配子单元124:用于在SIFT\SURF\0RB关键点提取完成后,通过特征向量 来描述关键点,利用关键点之间的欧式距离作为不同关键点相似度进行判断;
[0048]距离计算子单元125:用于根据特征点相对于左目相机的三维空间计算得到特征 匹配点之间的相对距离。具体的,所述特征点相对于左目相机的三维空间函数关系如下: [0049]设特征匹配点的像素坐标为Pl( X,y),Pr(X,y),
[0050] d = Pl .x-Pr.x;
[0051] ff=d/T;
[0052] X=(Pl.x-cx)/ff;
[0053] Y= (PI ,y-cy)/ff ;
[0054] Z = f/ff;
[0055] 其中:?1(、5〇#(、5〇为左右目匹配点像素坐标;(1为视差;1'为双目相机间距,从 双目相机外参中获取;W为尺度因子;c X,cy为左目主点坐标,从左目相机内参中获取;f左目 焦距,从左目相机内参中获取;X\Y\Z为特征点相对于左目的三维坐标。
[0056]所述关键点的提取包括SIFT关键点提取、SURF关键点提取、0RB关键点提取,具体 方法如下:
[0057] SIFT关键点提取
[0058] SIFT(Scale_invariant feature transform)是一种检测局部特征的算法,该算 法通过求一幅图中的特征点(interest points, or corner point)及其有关scale和 orientation的描述子得到特征并进行图像特征点匹配,获得了良好效果,
[0059] SIFT算法的实质是在不同的尺度空间上查找关键点(特征点),并计算出关键点的 方向。SIFT所查找到的关键点是一些十分突出,不会因光照,仿射变换和噪音等因素而变化 的点,如角点、边缘点、暗区的亮点及亮区的暗点等,
[0060] 1.构建尺度空间
[0061] 通过尺度可变的高斯函数建立图像金字塔,〇大小决定图像的平滑程度,大尺度对 应图像的概貌特征,小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率),反之, 对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分 尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。
[0062] 其中:
[0063] 2.寻找关键点
[0064]为了寻找尺度空间的极值点,每一个采样点要和它所有的相邻点比较,看其是否 比它的图像域和尺度域的相邻点打或者小。例如:中间的检测点和它同尺度的8个相邻点和 上下相邻尺度对应的9*2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到 极值点。一个点如果在D0G尺度空间本层以及上下两层的26个邻域中是最大或最小值时,就 认为该点是图像在该尺度下的一个特征点。
[0065] 3.指定方向参数
[0066]利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向,使算子具备旋 转不变性。
[0067] 0(x,y)=atan2((L(x,y+l)-L(x,y-l))/(L(x+1 ,y)-L(x-l ,y)))
[0068] 式中为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在 的尺度。
[0069] 4.关键点描述子的生成
[0070] 首先将关键点按照其方向旋转,保证所有关键点方向统一,以确保关键点旋转不 变特性。每一个小格代表特征点邻域所在的尺度空间的一个像素,箭头方向代表了像素梯 度方向,箭头长度代表该像素的幅值。然后在4*4的窗口内计算8个方向的梯度方向直方图。 这样就可以对每个feature形成一个4*4*8 = 128维的描述子,每一维都可以表示4*4个格子 中的sacel/orientation,将这个向量归一化之后,就进一步去除光照的影响。
[0071] SURF 特征点
[0072] 加速鲁棒特征(Speed up Robust Features,Surf)算法的特征点检测及匹配过程 和Sift类似,由于SURF使用了以下优化方法,SURF比SIFT速度上要快很多。
[0073] 1.使用积分图
[0074]使用积分图,将SIFT中图像与高斯二阶微分模板的滤波(卷积运算)转化为对积分 图的加减运算。积分图的好处在于,如果需要计算矩形区域的像素和,只需要使用A\B\C\D 处的积分值就可以解决。
[0075] 2.使用Hessian矩阵确定特征点
[0076]将经过Hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较,如 果它是这26个点中的最大值或者最小值,则保留下来,当做初步的特征点。并用harr小波相 应地给每个特征点分配方向,生成4*4*4的特征描述向量。Hessian矩阵的利用减少了降采 样过程,其被SURF算法运用于特征点的检测中,而积分图像是快速构建Hessian矩阵的前 提。
[0077] 0RB特征点
[0078] 0RB算法主要进行位运算,在运行时间上得到了大大的加快。0RB的处理速度是 SIFT算法的100倍左右,SURF算法的10倍左右。
[0079] 1.使用FAST算子检测特征点
[0080]使用FAST算子检测特征点,该算子特征点特征为:有足够多的像素点的灰度值大 于该点的灰度值或者小于该点的灰度值,
[0081 ] 2.使用BRIEF
[0082] ORB中采用BRIEF描述子对FAST检测到的特征点进行描述,并给BRIEF添加一个方 向构成rBRIEF。计算准则如下,如此生成256位的二进制描述符。
[0083]
[0084] 具体的,所述利用关键点之间的欧式距离作为不同关键点相似度进行判断的方法 具体如下:
[0085] 1.距离比例阈值
[0086]取双目图像的一个图像中的某个关键点,并找出其与双目图像的另一个图像中欧 式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次进的距离少于某 个比例阈值,则认为匹配成功。因为对于错误匹配,由于特征空间的高维性,相似的距离可 能有大量其他的匹配错误,从而它的比例值较高。在本发明中,比例阈值推荐为0.7。
[0087] 2.双目图片约束条件
[0088] 由于是在双目图片中寻找并匹配关键点,所以只有符合以下双目特征才认为是正 确的匹配点:
[0089] ①双目图片极线平行可以作为判断关键点是否正确的依据。但在实际应用中,双 目矫正图片极线仍然会存在2个像素的误差,所以如果匹配的关键点竖向像素点偏差大于 2,则认为是错误的匹配点。
[0090] ②在双目图片中,视差d对应匹配点的纵向距离,由于太远(大于50m)的匹配点精 度太低,可以通过限制视差来过滤错误及误差较大的匹配点;另外,由于相机视角原因,双 目相机基本不会拍摄到距离5m内的场景。所以如果关键点横向视差小于14(50m)或者大于 144(5m)(以400mm基线为例),则认为是错误的匹配点。
[0091] 进一步的,所述特征点地图生成模块40应用云端处理平台,每台智能车辆在运行 过程中实时将视觉特征点信息上传至云端处理平台,云端处理平台对大量的特征点进行分 析:将类似并且距离较近的特征点进行合并,将零散并且陈旧的特征点去除,从而对基于视 觉特征点的高精度定位地图进行实时更新及维护。
[0092] 本发明还提供一种基于双目相机的高精度视觉定位地图生成方法,如图5所示,所 述基于双目相机的高精度视觉定位地图生成方法包括以下步骤:
[0093] S1、采集道路上的沿途图像数据,对图像进行特征点提取并匹配,获取视觉特征点 相对于相机的空间位置关系;
[0094] S2、根据基站定位对车辆的位置信息进行粗略定位,再结合车辆的里程信息得到 车辆的高精度位置坐标,即相机的高精度位置坐标;
[0095] S3、根据相机与视觉特征点之间的相对空间位置关系,结合相机的高精度位置坐 标,得到视觉特征点的高精度位置坐标;
[0096] S4、将类似且相对位置距离小于设定阈值的特征点进行合并,得到固化特征点,将 所述固化特征点加载至高精度地图中得到特征点地图。
[0097] 如图6所示,所述步骤S1包括以下分步骤;
[0098] S11、所述双目图像拍摄单元11用于使用标定的双目相机采集道路上的沿途图像 数据;具体的,在采集图像的同时会在图像数据中附带实时的GPS时间数据,为视觉特征点 与高精度地图的融合提供参考对象。
[0099] S12、所述图像处理单元12用于对将双目图像进行矫正,并提取SIFT\SURF\0RB特 征点进行左右目匹配,计算匹配成功的特征点相对于相机的空间位置关系。
[0100] 如图7所示,所述步骤S12包括以下分步骤;
[0101 ] S121、获取标定的双目相机的内、外参数;
[01
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1