一种基于两视图几何的分行递归式道路重构算法的制作方法

本发明属于计算机视觉的领域，针对涉及一种基于两视图几何的分行递归式道路重构算法，用于具有双相机系统的智能车辆。

背景技术：

在智能车辆的应用中，环境感知是其中重要的部分，可驾驶道路检测是其中的关键性功能，在过去的十几年中得到了广泛的研究。以往的研究中，通常使用距离传感器(超声波、激光传感器等)以及视觉传感器。相比之下，视觉传感器具有更低的成本并且可以提供更加丰富的环境信息。然而，开发可靠的道路感知系统并非易事，要求在不同的物理配置、光照条件、道路类型和背景物体下具有较强的灵活性和鲁棒性。在以往的研究和应用中，通常使用单目和双目两种配置方式。

单目相机系统的使用更加灵活，并且具有更低的成本。经典的方法基于颜色(j.alvarez,t.gevers,y.lecun,a.lopez.roadscenesegmentationfromasingleimage.europeanconferenceoncomputervision,2012,376–389)、纹理(p.wu,c.chang,c.h.lin.lane-markextractionforautomobilesundercomplexconditions.patternrecognition.2014,47(8),2756–2767)等外观信息。基于颜色的方法一般将像素根据道路颜色模型进行分类，但是由于道路外观受到各种环境因素的影响，道路检测很大程度上依赖于道路模型的泛化程度。一般的，道路区域周围围绕着特定的纹理信息，如结构化道路上的车道线(x.du,k.k.tan.vision-basedapproachtowardslanelinedetectionandvehiclelocalization.machinevisionandapplications,2015,27(2),175–191)和非结构化道路上的边缘(p.moghadam,starzyks.,w.s.wijesoma.fastvanishing-pointdetectioninunstructuredenvironments.ieeetransactionsonimageprocessing.2012,21(1),497–500)。另外，可以利用图像中的透视效应来估计图像的消失点来指示道路的趋势。但是，消失点对于弯曲道路、拥挤的交通以及阴影不够鲁棒。为了降低对图像外观的依赖，另一种方法基于图像单应性来对道路点和非道路点进行分类(c.lin,s.jiang,y.pu,k.song.robustgroundplanedetectionforobstacleavoidanceofmobilerobotsusingamonocularcamera.ieee/rsjinternationalconferenceonintelligentrobotsandsystems,2010,3706–3711)。假设道路是平面的，其在两个位姿下拍摄的图像可以用单应性关联起来。以往的工作中一般基于两个图像的像素变换误差(j.arrospide,l.salgado,m.nieto,r.mohedano.homography-basedgroundplanedetectionusingasingleon-boardcamera.ietintelligenttransportsystems,2010,4(2),149–160)、特征点的变换误差(d.conrad,g.n.desouza.homography-basedgroundplanedetectionformobilerobotnavigationusingamodifiedemalgorithm.ieeeinternationalconferenceonroboticsandautomation,2010,910–915)、以及二者的综合(s.qu,c.meng.statisticalclassificationbasedfastdrivableregiondetectionforindoormobilerobot.internationaljournalofhumanoidrobotics,2014,11(1))，从而可以识别出期望平面上的图像点。但是，基于单应性的方法只针对平面道路可用，但是大部分室外道路都不是严格平面的。另外，室外道路的纹理一般较弱或者重复，从而难以鲁棒地匹配特征点，并且图像的像素误差同样会存在多义性。

相比之下，双目相机系统除了外观信息还提供了更多信息，典型的方法基于双目立体匹配得到的视差图，从而对外观变化更加鲁棒。一种常用的方法是基于u视差和v视差图来分割道路区域，从而道路区域可以方便地在不连续位置被分割出来(r.labayrade,d.aubert,j.p.tarel.realtimeobstacledetectioninstereovisiononnonflatroadgeometrythrough“v-disparity”representation.ieeeintelligentvehiclesymposium,2002,646–651)。在(m.wu,s.k.lam,t.srikanthan.nonparametrictechniquebasedhigh-speedroadsurfacedetection.ieeetransactionsonintelligenttransportationsystems,2015,16(2),874–884)中，基于u视差和v视差图提出了针对平面和非平面道路的分割算法。在(f.oniga,s.nedevschi.processingdensestereodatausingelevationmaps:roadsurface,trafficisle,andobstacledetection.ieeetransactionsonvehiculartechnology,2010,59(3),1172–1182)中，图像被分割成了方格，并且每个方格使用其中最大的高度值来表示。然后根据高度的分布将其分类成道路和非道路区域。但是，这些方法的效果依赖于立体匹配的质量，而实时地生成精确、稠密的视差图是比较困难的，尤其是对于弱纹理和重复纹理的区域。在实际中，立体视觉系统需要精确的校正从而保证两个相机是平行的并且只具有水平方向的距离，从而相应的图像点在两个图像的同一行以缩小搜索区域。为了提高测量精度，往往需要更长的基线，但是此时就需要搜索更大的空间来找到对应点，并且存在更多的误匹配，限制了系统的灵活性。

技术实现要素：

为了克服以往技术的不足，本发明一种基于两视图几何的分行递归式道路重构算法。

本发明采用的技术方案是：

针对安装在车辆上的双相机视觉系统，构建两视图几何模型，对双相机所采集图像的每一行进行递归地三维重构和道路检测，从而得到图像中的道路区域。

本发明的两视图几何模型针对道路场景，建立了参考平面，用参考平面描述了空间点在两个相机视图图像中对应的图像点的映射关系。该映射关系称为投影视差，反映了空间点离参考平面的高度信息。

本发明的三维重构算法，构建了包含图像相似度和平滑因子的目标函数，并对目标函数进行迭代优化获得高度信息。

本发明的道路检测算法，用三维重构得到的高度信息和图像行的图像值信息分布情况，对道路边缘进行识别。

所述算法具体为：

1)构建两视图几何模型；

2)对每一行进行三维重构和迭代计算获得像素点的高度信息；

3)对每一行，用三维重构得到的高度信息和图像行的图像值信息进行道路检测；

4)针对图像的每一行分行处理，重复上述步骤2)和3)从图像最底行开始向上依次对每一行进行三维重构和道路检测，得到图像中的道路区域。

本发明的递归过程，从图像最底行开始，分行进行三维重构和道路检测，利用上一行的道路检测结果构造下一行道路边缘的概率模型和感兴趣区域，引导下一行的三维重构和道路检测过程。

所述步骤1)具体为：

1.1)如图2所示，双相机视觉系统由相机和相机组成，定义r和xf分别为在相机下从相机到相机的旋转矩阵和平移矩阵，定义a,a′分别为相机和相机的内参矩阵，根据针孔相机模型，内参矩阵a和内参矩阵a′表示为：

其中，αu,αv分别为相机在横纵像素尺度下的焦距长度，(u0,v0)为相机主点坐标，θ为相机图像坐标轴的夹角；α′u,α′v分别为相机在横纵像素尺度下的焦距长度，(u′0,v′0)为相机主点坐标，θ′为双相机所采集的两个图像坐标轴的夹角；

1.2)相机拍摄得到的图像i，相机拍摄得到的图像i′，图像i和图像i′尺寸相同：两幅图像的列数为n，图像i中的一行像素点定义为p＝[p1…pi…pn]，其中pi＝[uivi1]^t；图像i′中相同行位置的一行像素点定义为p′＝[p′1…p′i…p′n]，其中p′i＝[u′iv′i1]^t，ui和vi分别表示图像点pi沿自身所在图像横纵方向的坐标，u′i和v′i分别表示图像点p′i沿自身所在图像横纵方向的坐标，t表示矩阵转置；

1.3)两个相机和前方任意建立一个参考平面π，获得参考平面π在相机下的法向量n和相机光心离参考平面π的距离d；

1.4)如图3所示，对于两个相机和前方空间中的任意一点oi，oi在图像i和图像i′上对应位置分别为图像点pi到图像点p′i图像点pi到图像点p′i在各自图像中的坐标位置分别为pi＝[uivi1]^t和p′i＝[u′iv′i1]^t；

从图像点pi到图像点p′i利用以下公式进行坐标变换：

其中，g为投影单应性矩阵，βi为图像点pi处的投影视差信息，zi表示点oi沿相机光轴方向的坐标，z′i表示点oi沿相机光轴方向的坐标，a′表示相机的内参矩阵，xf表示在相机下从相机到的平移矩阵；

投影单应性矩阵g采用以下公式计算获得：

其中，a表示相机的内参矩阵，r为在相机下从相机到的旋转矩阵。

所述步骤2)具体为：

对每一行进行三维重构获得像素点的高度信息；

2.1)对步骤1.4)的坐标变换关系利用变换函数[u′iv′i]^t表达：

其中，gkl为投影单应性矩阵g的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；

建立函数关系[ui′vi′]^t＝w(βi,pi)计算得到相机拍摄的图像点pi在相机拍摄的图像中对应的点pi′＝[ui′vi′1]^t；

2.2)对于每个图像行，使用三次b样条曲线的函数对投影视差信息βi进行参数化，将图像点pi处的投影视差信息βi用拟合函数β＝f·φ表示获得各个图像点的投影视差信息fφ，从而获得图像i中图像点pi所在行在图像i′中对应点的坐标w(fφ,p)；

所述步骤2.2)中的拟合函数采用以下公式表示：

β＝f·φ

其中，β＝[β1…βn]^t，n表示图像i的总列数；φ表示三次b样条曲线中控制点取值集合，φ＝[φ-1…φm-2]^t，m表示三次b样条曲线中控制点的总个数，φ-1表示序号-1的控制点的取值；f为n×m的矩阵，矩阵f的第i行表示为：

fi＝[0…0f0(ti)f1(ti)f2(ti)f3(ti)0…0]

其中，矩阵f第i行的前部分0元素的数量为表示向下取整，后部分0元素的数量为fl(t)为三次b样条曲线的基函数，k表示两个相邻控制点的距离，i表示控制点在图像中的列序号，

2.3)将步骤2.2)的行坐标w(fφ,p)描述为以下公式所表示的目标函数的最大化问题：

e(φ)＝c(s,w(fφ,p))-λ1r1(φ)-λ2r2(φ)

其中，λ1,λ2分别为第一、第二权重因子，λ1,λ2>0，c为互相关系数，r1表示当前行的平滑程度，r2表示当前行与上一行的接近程度，i′(w(fφ,p))表示图像i′在行坐标w(fφ,p)处的像素值集合，s表示图像i中与行坐标w(fφ,p)对应的当前行的图像点像素值集合；

所述步骤2.3)中：

互相关系数c用于描述两组图像点的相似度，互相关系数c采用以下公式计算如下：

其中，s′＝[s1…sn]^t为图像i中一行图像点的像素值集合，s′＝[s1′…s′n]^t为图像i′中与行坐标w(fφ,p)对应的当前行的图像点像素值集合，通过i′(w(fφ,p))＝[i′(w(β1,p1))…i′(w(β1,pn))]^t计算，为图像i′中w(βi,pi)所在行的图像点像素值集合；δi为第i个图像点的权重因子，如果pi超出图像边界则δi＝0，如果pi不超出图像边界则δi＝1；

平滑程度r1和接近程度r2分别采用以下公式计算：

其中，为考虑到图像边缘处不连续性的权重项，λ3为尺度因子，为图像i在点pi处的图像梯度大小，ηi为基于上一行道路识别结果的概率分布；在r2(φ)中，β^-为上一行的视差值；

对于图像最底行进行检测时忽略r2(φ)项。

基于上一行道路识别结果的概率分布ηi采用以下公式计算：

其中，h为上一行检测后获得的道路边缘点集合，h为道路边缘点集合h中的点，σ为已知标准差，ε为考虑到非连续的道路边缘的因子，ui表示第i个图像点的横坐标值。

基于上一行道路识别结果的概率分布ηi初始值为1。

2.4)针对步骤2.3)的目标函数，利用levenberg-marquardt方法进行迭代优化使得计算结果收敛，获得每一行的图像点pi处的投影视差信息βi的最优解；

由于迭代优化算法的收敛域有限，使用以下方式每一行检测计算时的初始值在最优解附近：

初始计算时，将最底行的样条曲线的控制点集合φ初始化为0。

由于认为道路平面是连续的，并且在重复步骤2)和3)过程中，使用上一行的最优解作为下一行的初始值。

2.5)最后采用以下公式计算获得点oi到参考平面的距离，作为高度信息：

di＝ziβi

其中，di为点oi到参考平面的距离，zi表示点oi沿相机光轴方向的坐标。

所述步骤3)具体为：

3.1)如图5所示，由步骤2)计算得到的作为高度信息的点oi到参考平面的距离di结合图像行的图像值信息采用以下公式计算获得像素点分别沿图像横纵向的边缘强度：

其中，分别表示沿着u,v方向上的偏导，表示点oi到参考平面的距离di沿着u方向上的偏导，表示点oi到参考平面的距离di沿着v方向上的偏导，表示图像i中点oi对应的像素点像素值沿着u方向上的偏导，表示图像i中点oi对应的像素点像素值沿着v方向上的偏导；cu表示图像i中点oi对应的像素点沿图像横向(即u坐标方向)的边缘强度，cv表示图像i中点oi对应的像素点沿图像纵向(即v坐标方向)的边缘强度；

3.2)初始设定图像i中的最底行中心点属于道路点，道路点表示位于道路区域的像素点，然后采用特定方式进行向相邻点进行处理判断获得每个像素点为道路点或者非道路点的判断结果。

所述步骤3.2)具体为：

3.2.1)先在图像i的最底行，从最底行的中心点开始作为临界点向两侧采用以下方式扩散，依次对每个像素点进行判断：

对于每一个临界点，临界点为与非道路点或者未判断点相邻的道路点，如果临界点的边缘强度cu<τu，τu表示横向扩散的阈值，则判断临界点相邻两侧的点均为道路点，否则判断临界点相邻两侧的点均为非道路点；

3.2.2)然后从图像i的最底行向上，依次对每一行采用以下方式判断：

对于当前行的每一个像素点，如果上一行中与该像素点对应位于同一列位置的点为道路点且当前行的该像素点的边缘强度cv<τv，τv表示纵向扩散的阈值，则判断当前行的该像素点为道路点，否则不作处理再采用步骤3.2.1)判断；

3.2.3)重复上述步骤直到图像i的每个像素点均完成判断。

在实际环境中，道路边缘一般是连续的，在分行递归的道路检测中引入基于上一行检测结果的感兴趣区域，从而不需要处理完整的图像行的信息，大大减小计算量。

所述步骤3.2)中，在对除图像最底行以外的其他行进行实时判断时，根据上一行检测结果中的道路边缘点集合h设定感兴趣区域ω，然后在感兴趣区域ω范围内对当前行进行判断：

ω＝[max(min(h)-μ,1),min(max(h)+μ,n)]

其中，μ为松弛因子。

对最底行进行实时判断时，设置为整行均为感兴趣区域ω。

但是，对于一些例外情况，如道路边缘不连续等，如果检测到的道路边缘与感兴趣区域的边缘重合，则将感兴趣区域扩大到整个图像行，并重新进行这一行的道路重构。

针对如图3中的双相机系统，基于两视图几何对图像场景进行分行的三维重构，并将车辆的接地平面选择为参考平面。在道路场景中，由于大部分感兴趣区域是离参考平面较近的路面区域，因此这种三维重构方法具有较高的效率。然后，场景中点的几何信息可以利用相对于参考平面的投影视差来描述，再根据车辆配置信息可以转化为相对于参考平面的高度信息。

相比于现有技术中基于立体视觉的方法中需要先完成整个图像的三维重构再进行道路分割，本发明中提出的道路重构方法是分行递归的，其中包括几何重构和道路识别等过程。

对于每一行，首先基于两视图几何模型重构出每个像素点相对于参考平面的高度信息，然后道路区域可以利用高度信息和灰度信息的分布分割出来。这一过程从图像的最下行开始递归地执行直到当前行中的道路宽度小于阈值，从而得到了完整的道路区域。另外，几何三维重构和道路检测是相互影响的，道路区域是基于几何信息的分布进行分割，而基于道路分割结果可以确定下一行的感兴趣区域以及道路边缘的先验概率分布。具体过程如图1所示。

本发明的有益效果是：

本发明提出了一般性的两视图几何模型，基于参考平面描述道路场景的几何信息，从而可以对道路区域进行几何重构，准确度高，运算量小，并且对颜色特征更加鲁棒。

附图说明

图1是分行递归道路重构算法的流程图。

图2是车辆视觉系统的配置。

图3是两视图几何模型示意图。

图4是道路场景三维重构的过程。

图5是道路分割的结果。

图6是另一场景下道路分割的结果。

具体实施方式

以下结合具体实施方式对本发明加以详细说明。

如图1所示，所提出的基于两视图几何的分行递归式道路重构算法由以下几个过程迭代完成：三维重构、道路检测、感兴趣区域的确定、概率模型的构造。

本发明的实施例如下：

本发明的实施分行递归地进行，每一步包括三维重构、道路检测、感兴趣区域的确定、概率模型的构造。

如图4为针对图像一行的处理过程，基于上一行的道路分割结果，可以得到当前行的感兴趣区域和概率模型，再通过三维重构得到最佳的投影视差值β使两幅图像中的对应点最匹配，从而基于三维信息和图像信息对道路区域进行分割。

针对该图像的道路分割结果如图5，其中白色区域为分割的道路区域。如图6为针对另一个场景的道路分割结果。从结果可以看出，道路边缘在恰当的区域进行了有效的分割。