不平道路的检测方法和系统的制作方法
【专利摘要】本发明涉及一种不平路面的检测方法和系统，包括：采用两台深度照相机同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；在V-视差图探测中与路面对应的斜线，从而将该斜线的方向作为路面的方向；基于所拍摄的场景的视差图和消失点坐标，计算路面的横截面投影；以及拟合路面的横截面投影，以得到横截面上的道路线从而抽取路面，并将在拟合道路线下方的点作为道路点。
【专利说明】不平道路的检测方法和系统
【技术领域】
[0001]本发明涉及一种不平道路的检测方法和系统。
【背景技术】
[0002]随着城市化的发展和汽车的普及，交通运输问题日益严重。近年来，车辆增长的速度也已远远高于道路和其他交通设施的增长速度，交通事故频繁、人员伤亡与日俱增、财产损失巨大这都要求车辆不仅要具有良好的安全性而且要具备一定的智能性，随之智能车辆(Intelligent Vehicle)的概念应运而生。
[0003]智能车辆能够帮助驾驶员，提高驾驶的安全性。这种智能车辆能够起到辅助驾驶的作用，在辅助驾驶中，例如离路警告，转弯警告等准确的道路检测是很有用的。然而在真实环境中，道路平面不是平的，例如在横截面上有弧度/斜，或坑坑洼洼的。
[0004]美国专利申请US2010782309A“ROAD SHAPE RECOGNITION DEVICE (路面形状识别装置)”就提出了一种识别路面形状的装置，但是该专利申请只考虑在路的方向上拟合道路形状，而对路面本身是否存在坑坑洼洼或倾斜等情况给出结论。
[0005]美国专利US8IO8Il9B2 “Apparatus and method for object detection andtracking and roadway awareness using stereo cameras (使用立体照相机的用于对象检测和跟踪以及公路警告的装置和方法)”也提出了一种涉及路面检测的方法和装置，该专利使用视差值在y轴上的分布来找路面。该专利不适合路面只有稀疏视差点的情形，因为车上有视差值的点的个数和路面的视差值的点的个数可能一样。很显然，该专利仅仅给出了一种利用视差值来识别路面的位置的方法，而对路面自身的情况没有给处任何结论。
[0006]很显然，要更精确地辅助驾驶，就需要对路面的基本情况进行检测，这些重要的基本信息包括路面的方向以及路面自身是否存在倾斜或坑洼情况。为此，人们需要提供一种不但能够提供路面方向和位置，也能够提供路面自身状况的路面检测方法和装置。
【发明内容】
[0007]为此，本发明提供了一种能够快速而准确检测不平路面的方法和系统。本发明使用道路的V-视差图和X-Y横截面投影来得到路面，因此本发明的方法适合用于稀疏视图。本发明考虑了在道路方向和道路横截面，由于在真实环境中，道路平面不是平的，例如在横截面上有弧度/斜，或坑坑洼洼的，因此采用本发明的方法的辅助驾驶，在例如离路警告、转弯警告等准确的道路检测方面是很有用的。
[0008]鉴于本发明采用了道路的V-视差图，因此，在本申请中通过引用方式整体结合本发明的 申请人:与2011年11月18日向中国国家知识产权局提交的申请号为“ 201110399183.0 ”标题为“道路对象检测方法和系统”的申请。在该申请中，对V-视差的算法有详细的描述L具体而言，在V—视差图中，V对应于视差图的图像坐标系统中的垂直坐标。在“V-视差”域中，道路表面平面的纵向断面可以被描述为分段线性曲线，而在垂直平面中的障碍物将被投射为垂直线。因此，在3D视差图中道路表面和障碍物的提取将被简化为V-视差图中2D线性提取。因此这种算法可以识别前方具有面特征的障碍物，比如行人、车辆、墙壁等等。而且，这种算法对于光照、阴影等干扰不敏感，适用于城市复杂背景下智能车辆的障碍物识别。具体来讲，基于双目的V —视差识别过程主要包括三个部分的内容:创建V-视差图、提取道路、从V-视差图中提取代表路面对象的竖线。
[0009]为此，根据本发明的一个方面，提供了一种不平路面的检测方法，包括:采用两台深度照相机同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；在V-视差图探测中与路面对应的斜线，从而将该斜线的方向作为路面的方向；基于所拍摄的场景的视差图和消失点坐标，计算路面的横截面投影；以及拟合路面的横截面投影，以得到横截面上的道路线从而抽取路面，并将在拟合道路线下方的点作为道路点。
[0010]根据本 发明的不平路面的检测方法，其中所述计算路面的横截面投影包括:根据路路面的消失点，计算视差图中每一点的三维真实世界坐标(X’，y’，Z’)；计算在真实世界的路面方向；将视差图沿着在真实世界的路面方向投影到Z=ZO平面，zO是常量，于是得到投影点；以及分割投影以得到路面区域。
[0011]根据本发明的不平路面的检测方法，其中根据路路面的消失点，计算视差图中每一点的三维真实世界坐标(X’，y’，Z’)包括:
[0012]基于已知道路消失点VpOivp, vvp)，按照如下公式计算视差图中点(U，V，d)的世界坐标(X，，y，，z’:
[0013]x，= (u-uvp) *BASE/d;
[0014]Y，= (v-kv*d_bv) *BASE/d
[0015]其中，BASE两相机之间的距离，u是水平坐标，V是竖直坐标，d是视差值。
[0016]根据本发明的不平路面的检测方法，其中所述计算在真实世界的路面方向包括:计算投影方向 kr, kr= (bv-bhorizontal) *f/ (f*f+bv*b
horizontal )，其中 V ^horizontal^^^^horizontal
V-视差图中拟合水平平面，f是相机焦距。
[0017]根据本发明的不平路面的检测方法，其中所述将视差图沿着在真实世界的路面方向投影到Ζ=ζ0平面包括:对于每个点(X’，y’)，通过下述公式计算其投影点(xp, yp):χρ=χ’、yp=y’ -kr*(BF/d-BF/dp)、以及 BF=BASE*f，其中 dp 是平面 Z=z0 的视差图。
[0018]根据本发明的不平路面的检测方法，其中所述分割投影以得到路面区域包括根据每个分隔域的宽度和高度分割道路横截面。
[0019]根据本发明的不平路面的检测方法，其中所述拟合路面的横截面投影包括:对于横截面的每个分割，在平面Ζ=ζ0拟合代表路面的线。
[0020]根据本发明的不平路面的检测方法，其中所述抽取路面包括:视差图中的点(u’，v’，d’ )是路面上的点，如果视差图中的点(u’，v’，d’ )满足a)它在V-视差图中的投影在V-视差图中的路线上以及b)它在平面Ζ=ζ0上的投影在拟合出的路线上，将将该视差图中的点(u’，v’，d’ )作为路面上的点。
[0021]根据本发明的另一个方面，提供了一种不平路面检测系统，包括:两台深度照相机，同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图视差计算装置，基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；路面方向检测器，在V-视差图探测中与路面对应的斜线，从而将该斜线的方向作为路面的方向；横截面投影计算器，基于所拍摄的场景的视差图和消失点坐标，计算路面的横截面投影；横截面拟合器，拟合路面的横截面投影；以及路面抽取器，抽取路面，并将在拟合道路线下方的点作为道路点。
[0022]通过上述方式，对道路平面进行了精确的检测，尤其是对于倾斜路面进行了精确的检测，因此，能够更为精确地进行辅助驾驶。
【专利附图】
【附图说明】
[0023]图1所示的是采用本发明的路面检测方法的系统基本框图。
[0024]图2是道路横截面投影计算器的示意框图。
[0025]图3是采用本发明的路面检测方法的流程图。
[0026]图4是硬件系统的示意图。
[0027]图5是采用本发明的路面检测方法的一个实例的示意图。
[0028]图6是采用本发明的路面检测方法信号处理过程序列图。
[0029]图7所示的是在真实世界的道路方向表示和V-视差图中道路方向表示之间的关系的不意图
[0030]图8所示的是所计算的V-视差图的示意图。
[0031]图9所示的是通过拟合获得拟合道路线的过程的示意图。
[0032]图10所示的是将图像坐标系中的点转换为真实坐标系中点的示意图。
[0033]图11所示的是在真实世界坐标系中获得道路横截面的示意图。
【具体实施方式】
[0034]本发明的目的是为了提供一种道路检测方法和系统，以便有助于机动车驾驶的安全。以下，将参照附图来详细说明本发明的具体实施例。
[0035]图1所示的是采用本发明的路面检测方法的系统基本框图。如图1所示，内存101中存储视差图。从内存101中读取每一帧的视差，在CPU 102中，道路方向检测器103计算V-视差图，拟合V-视差图中的道路点，输出V-视差图中的道路线，道路横截面投影计算器104计算在平面Ζ=ζ0的视差投影，输出道路横截面投影，道路横截面拟合计算器105拟合视差投影，以及表面抽取器106根据V-视差图中拟合的道路线抽取道路平面，并拟合横截面投影，输出道路表面。
[0036]图2是道路横截面投影计算器的示意框图。基于道路方向，从内存101中读取每帧视差图，在CPU 102中:坐标转换器1041将视差图像坐标转换成世界坐标，输出视差的世界坐标，投影方向计算器1042将来自道路方向检测器103道路方向从图像坐标转换成世界坐标并得到世界坐标的道路方向，投影计算器1043将沿着投影方向将世界坐标表示的视差图投影到平面Ζ=ζ0上，输出世界坐标系的投影，以及横截面分割器1044根据宽度和高度分割投影，输出道路横截面区域。
[0037]图3是采用本发明的路面检测方法的流程图。首先输入视差图，计算道路方向(S101)，计算道路横截面投影(S102)以得到真实世界的道路投影。拟合道路横截面投影以得到横截面的道路线(S103)，最后抽取道路平面(S104)。计算道路方向(SlOl)是在道路方向检测器103中执行，计算道路横截面投影(S102)是在道路横截面投影计算器104中执行，拟合道路横截面投影(S103)是在道路横截面拟合计算器105得到，抽取道路平面(S104)是在道路表面抽取器106中得到。
[0038]图4是硬件系统的示意图。输入设备1100输入每一帧的视差图，CPU1200实现路面检测，输入和中间结果存在存储设备1300，最后由输出设备1400输出最后的路面。
[0039]图5是采用本发明的路面检测方法的一个实例的示意图。一个装备了双目相机的车202，双目相机拍摄左眼视图和右右眼视图，芯片处理图像并抽取对象。
[0040]图6是采用本发明的路面检测方法信号处理过程序列图。输入设备(S41)输入视差图(S42)到道路检测系统(S43)。在(S43)，道路方向检测器(S44)得到道路方向，用横截面投影计算器(S45 )计算真实世界的横截面投影，然后得到道路横截面分割，横截面投影拟合器(S46)拟合道路横截面分割，道路抽取器(S47)根据道路方法和道路横截面拟合抽出道路表面(S48)。最后道路表面(S48)输出到输出设备(S49)上。
[0041]图7-11描述了一个具体实施例的实例。图7所示的是在真实世界的道路方向表示和V-视差图中道路方向表示之间的关系的示意图。此实例是从由双目相机得到的左图和右图生成的视差图来检测路面。计算道路方向以得到真实世界的道路方向(S101)。如图7所示，在真实世界的道路方向表示和V-视差图中道路方向表示是同一条线。首先，基于视差图计算场景的V-视差图。图8所示的是所计算的V-视差图的示意图。图9所示的是通过拟合获得拟合道路线的过程的示意图。如图9所示，通过拟合最低点来得到V-视差图中的道路线。首先，选择V-视差图中的最低点，用霍夫变换得到线，然后选择经过点最多的那根线。图9中右图中的斜线(Lv:v=kv*d+bv)就是道路线。
[0042]然后，计算真实世界的道路方向。该计算方法可以根据Z.Hu，F.LamoSa，和K.Uchimura 的文章 “A complete u-v-disparity study for stereovision based 3ddriving environment analysis，， (In Proceedings of the Fifth InternationalConference on 3-D Digital Imaging and Modeling(3DIM05), pages 204-211，2005)。通过上述文章所记载的计算方法，可以得到:
[0043]kr= (bv-bhorizontal) *f/ (f*f+bv*bhorizontal),其中 kr 是道路在真实世界坐标表示的方向，水平路对应-视差图中道路线是LhOTi_tal:v=khorizontal*d+bhorizontal, f是焦距。
[0044]图10所示的是将图像坐标系中的点转换为真实坐标系中点的示意图。如图10所示来计算道路横截面投影。首先，根据消失点vp (Uvp, Vvp)计算视差图中点在真实世界的坐标。图11所示的是在真实世界坐标系中获得道路横截面的示意图。如图11所示，在真实世界坐标系中进行投影。通过在真实世界坐标系统进行投影，可以避免道路白线和对象重叠。该具体过程如下:
[0045]X，= (U-Uvp) *BASE/d;
[0046]y ’ = (v-kv*d_bv) *BASE/d
[0047]BASE是相机之间的点距，d是视差值。
[0048]X’，y’是相对于消失点vp的真实距离。
[0049]在真实世界坐标系中，沿着道路的方向将图像中点投影到平面Ζ=ζ0，z0是一个预定值。沿着道路方向投影可以保证路面及其上的对象的相对高低位置保持不变。
[0050]对于一个点(X’，y’)，它的投影点(xp,yp),其中 xp=x’，yp=y’ -kr*(BF/d-BF/dp);
[0051]BF=BASE*f，dp是平面Z=z0对应的视差值。[0052]接着，在横截面投影上分割路面横截面以得到道路平面区域。具体而言，就是在横截面投影上，根据高度和宽度来得到道路区域。因为道路高度比障碍物要低，道路的宽度和障碍物(车，人)都不一样。抽取出路面区域后，分别在各路面区域拟合路横截面线。
[0053]然后，拟合路面横截面投影S103以得到横截面上的道路线。其中使用曲线方程y=a*x~ 3+b*x~ 2+c*x+d来拟合。通过拟合,可以得到真实的路面，去除噪音。
[0054]最后，将所有在拟合道路线下方的点作为道路点。在道路分割区域，抽取所有满足y<=a*x~ 3+b*x~ 2+c*x+d下方的点作为道路点。
[0055]本发明所述的方法可以在一台计算机(处理器)上执行，或者可以被多台计算机分布式执行。此外，程序可以被转移到在那儿执行程序的远程计算机。
[0056]本领域的普通技术人员应该理解到，根据设计要求和其他因素，只要其落入所附权利要求或其等效物的范围内，可以出现各种修改、组合、部分组合和替代。
【权利要求】
1.一种不平路面的检测方法，包括: 采用两台深度照相机同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图； 基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图； 在V-视差图探测中与路面对应的斜线，从而将该斜线的方向作为路面的方向； 基于所拍摄的场景的视差图和消失点坐标，计算路面的横截面投影；以及拟合路面的横截面投影，以得到横截面上的道路线从而抽取路面，并将在拟合道路线下方的点作为道路点。
2.如权利要求1所述的不平路面的检测方法，其中所述计算路面的横截面投影包括: 根据路路面的消失点，计算视差图中每一点的三维真实世界坐标(X’，y’，z’)； 计算在真实世界的路面方向； 将视差图沿着在真实世界的路面方向投影到Z=zO平面，z0是常量，于是得到投影点；以及 分割投影以得到路面区域。
3.如权利要求2所述的不平路面的检测方法，其中根据路路面的消失点，计算视差图中每一点的三维真实世界坐标(X’，y’，z’)包括: 基于已知道路消失点VPOlvp, vvp)，按照如下公式计算视差图中点(U，V，d)的世界坐标(X，，y，，z，:
X’ = (U-Uvp) *BASE/d;
y’ = (v-kv*d_bv) *BASE/d 其中，BASE两相机之间的距离，u是水平坐标，V是竖直坐标，d是视差值。
4.如权利要求2所述的不平路面的检测方法，其中所述计算在真实世界的路面方向包括:
计算投影方向 kr, kr= (bv-bhorizontal)*f/ (f*f+bv*b
horizontal )，其中 V=khorizontal*d+bhorizontal是在V_视差图中拟合水平平面，f是相机焦距。
5.如权利要求2所述的不平路面的检测方法，其中所述将视差图沿着在真实世界的路面方向投影到Ζ=ζ0平面包括: 对于每个点(X’，y’)，通过下述公式计算其投影点(xp，yp) χρ=χ’、yp=y’ -kr* (BF/d-BF/dp)、以及 BF=BASE*f, 其中dp是平面Z=z0的视差图。
6.如权利要求2所述的不平路面的检测方法，其中所述分割投影以得到路面区域包括根据每个分隔域的宽度和高度分割道路横截面。
7.如权利要求1所述的不平路面的检测方法，其中所述拟合路面的横截面投影包括:对于横截面的每个分割，在平面Ζ=ζ0拟合代表路面的线。
8.如权利要求1所述的不平路面的检测方法，其中所述抽取路面包括: 视差图中的点(u’，v’，d’ )是路面上的点，如果视差图中的点(u’，v’，d’ )满足a)它在V-视差图中的投影在V-视差图中的路线上以及 b)它在平面Ζ=ζ0上的投影在拟合出的路线上，将将该视差图中的点(u’，v’，d’ )作为路面上的点。
9.一种不平路面检测系统，包括:两台深度照相机，同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图； V-视差计算装置，基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图； 路面方向检测器，在V-视差图探测中与路面对应的斜线，从而将该斜线的方向作为路面的方向； 横截面投影计算器，基于所拍摄的场景的视差图和消失点坐标，计算路面的横截面投影; 横截面拟合器，拟合路面的横截面投影；以及 路面抽取器，抽取路面，并 将在拟合道路线下方的点作为道路点。
【文档编号】G06T7/00GK103679120SQ201210335758
【公开日】2014年3月26日 申请日期:2012年9月11日 优先权日:2012年9月11日
【发明者】游赣梅, 师忠超, 鲁耀杰, 王刚 申请人:株式会社理光